방대한 양의 API 데이터 조회 시 느려지는 서버로 인한 성능 저하를 방지하기 위한 모니터링 도구

[kwongiyeon]

대기 오염 서비스의 성능을 분석해서 안정적으로 운영할 수 있도록 하려면 모니터링 작업이 필요하다.
각 운영체제 환경에서 성능 모니터링 도구를 이용하여 서버 자원을 분석하여 추후 서버 속도 개선에 기여할 수 있다
방대한 양의 날씨 및 대기 오염 지수 데이터 조회할 때, 지역 별 익명 채팅할 때 트래픽이 증가하면 서버 응답이 느려질 수 있다. 응답이 느리면 사용자의 불만이 증가하고 서비스 사용률의 저하로 이어질 수 있다. 이러한 현상을 모니터링 도구로 시각화하여 웹 서비스 성능의 문제점을 찾고 해결하는 데에 도움이 될 수 있을 것이다.

모니터링 서비스를 이용하는 방법과 활용 예시를 깊게 알고 싶다

• perfmon
  • Windows 성능 모니터링 도구
  • https://learn.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2008-r2-and-2008/cc749154(v=ws.11)
• nmon

  • Linux, Unix 성능 모니터링 도구

    • Ubuntu의 경우 업데이트 한 뒤에 apt install nmon 명령어로 설치
    • 설치 완료 후 nmon을 입력해서 시작
      

  • 현재 화면 기준 위에서 아래로 r(리소스), c(CPU), m(메모리)

  • 키를 누르면 바로 생기며, 여러 개 보여줘서 직관적인 동시 모니터링 가능
    

  • cpu 자원을 가장 많이 소모하고 있는 프로세스 파악하는 t(top-process)

  • cpu 사용 순서대로 정렬

    • PID: 프로세스 ID
    • %CPU: CPU 사용률
    • Size KB: 사용 중인 페이지 크기(KB 단위)
    • Res Set: 실제 메모리에 저장된 데이터와 텍스트의 총합
    • Res Text: 실제 메모리에 저장된 텍스트 용량
    • Res Data: 실제 메모리에 저장된 데이터 용량
    • Shared KB:
      

  • 더 많은 옵션 h
    

  • 수집 정보 저장한 파일 열람하기

    • nmon -f -s <시간 간격(초)> -c <수집 횟수>
      예) 10초 간격으로 60번 데이터 수집
      

  • nmon 파일을 csv로 저장해서 열람
    

  • nmon analyzer를 사용하여 csv 가져오기
    

- 명령어
    
    ```bash
    우분투(EC2)에서 실행
    sudo apt update          -- 리눅스 업데이트
    sudo apt install nmon    -- nmon 설치
    nmon                     -- 설치된 nmon 확인하고 시작
    sudo mkdir /var/log/nmon -- 파일이 저장될 공간 생성
    sudo nmon -f -s 10 -c 6 -m /var/log/nmon
    -- 10초마다 6번(=1분) 정보를 수집하고 파일로 저장
    ls *.nmon                -- 현재 디렉터리에서 .nmon 파일 찾기
    cat ip-172-31-7-35_240829_0510.nmon
    -- ip-172-31-7-35_240829_0510.nmon이라는 파일 열기
    sort ip-172-31-7-35_240829_0510.nmon > ~/ip-172-31-7-35_240829_0510.csv
    -- nmon을 csv로 저장하기
    cat ip-172-31-7-35_240829_0510.csv
    -- ip-172-31-7-35_240829_0510.csv이라는 파일 열기
    ps aux | grep nmon       -- 백그라운드에서 nmon이 동작하는지 확인
    ubuntu     15201  0.0  0.2   7076  2048 pts/0    S+   06:29   0:00 grep --color=auto nmon
    
    로컬에서 실행
    우분투에 담겨 있는 .nmon 파일을 로컬로 다운로드
    scp -i /Users/kwongiyeon/Downloads/baepo.pem [email protected]:/home/ubuntu/ip-172-31-7-35_240829_0510.csv ~/Downloads/
    ```

• redis exporter

  • redis 서버용 모니터링 에이전트

  • redis에 있는 INFO 명령 대부분 항목의 메트릭 수집

    • server: Redis 서버에 대한 일반 정보
    • clients: 클라이언트 연결 섹션
    • memory: 메모리 사용량 관련 정보
    • persistence: RDB 및 AOF 관련 정보
    • stats: 일반통계
    • replication: 마스터/레플리카 복제 정보
    • cpu: CPU 사용량 통계
    • commandstats: Redis 명령 통계
    • cluster: Redis 클러스터 섹션
    • modules: 모듈 섹션
    • keyspace: 데이터베이스 관련 통계
      

  • EC2에서 redis exporter 다운로드 후 환경 셋팅

  • 프로메테우스에서 모니터링
    

- 명령어
    
    ```bash
    우분투(EC2)에서 실행
    sudo apt update          -- 리눅스 업데이트
    wget https://github.com/oliver006/redis_exporter/releases/download/v1.24.0/redis_exporter-v1.24.0.linux-amd64.tar.gz
    -- Redis exporter 다운로드
    tar -zxvf redis_exporter-v1.24.0.linux-amd64.tar.gz
    -- 압축 해제
    cd redis_exporter-v1.24.0.linux-amd64
    -- 레디스 익스포터가 있는 폴더로 이동
    sudo cp redis_exporter /usr/bin/
    -- 루트 권한으로 /usr/bin/으로 파일 복사
    sudo vim /etc/systemd/system/redis_exporter.service
    -- redis exporter 파일 수정
    
    [Unit]
    Description=Redis Exporter
    Wants=network-online.target
    After=network-online.target
    
    [Service]
    User=root
    Group=root
    Type=simple
    ExecStart=/usr/bin/redis_exporter \
        -web.listen-address ":9090" \
        -redis.addr "redis://43.203.207.18:6379" \
    
    [Install]
    WantedBy=multi-user.target
    
    sudo systemctl daemon-reload
    sudo systemctl enable redis_exporter
    sudo systemctl start redis_exporter
    sudo systemctl status redis_exporter
    
    sudo apt-get install prometheus -y
    sudo vi /etc/prometheus/prometheus.yml
    
    global:
      scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
      evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
      # scrape_timeout is set to the global default (10s).
    
    # Alertmanager configuration
    alerting:
      alertmanagers:
      - static_configs:
        - targets:
    
    # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    rule_files:
      # - "first_rules.yml"
      # - "second_rules.yml"
    
    # A scrape configuration containing exactly one endpoint to scrape:
    # Here it's Prometheus itself.
    scrape_configs:
      # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
      - job_name: 'prometheus'
    
        # metrics_path defaults to '/metrics'
        # scheme defaults to 'http'.
    
        static_configs:
          - targets: ['localhost:9090']                  
    
    sudo vi /etc/systemd/system/prometheus.service
    
    [Unit]
    Description=Prometheus
    Documentation=https://prometheus.io/docs/introduction/overview/
    Wants=network-online.target
    After=network-online.target
    [Service]
    User=prometheus
    Group=prometheus
    Type=simple
    ExecStart=/usr/local/bin/prometheus \
    --config.file /etc/prometheus/prometheus.yml \
    --storage.tsdb.path /var/lib/prometheus/ \
    --web.console.templates=/etc/prometheus/consoles \
    --web.console.libraries=/etc/prometheus/console_libraries \
    --web.listen-address=0.0.0.0:9090 \
    
    [Install]
    WantedBy=multi-user.target
    
    sudo chown -R prometheus:prometheus /var/lib/prometheus/
    sudo systemctl daemon-reload
    sudo systemctl start prometheus
    sudo systemctl enable --now prometheus
    Synchronizing state of prometheus.service with SysV service script with /usr/lib/systemd/systemd-sysv-install.
    ```

• 참고
  • https://philip1994.tistory.com/51
  • https://velog.io/@baekrang256/Linux-command-nmon
  • https://www.ibm.com/docs/ko/aix/7.2?topic=n-nmon-command
  • https://github.com/oliver006/redis_exporter
  • https://redis.io/docs/latest/commands/info/
  • https://eveningdev.tistory.com/153
  • https://velog.io/@akeka0303/Redis-Exporter-설정하기
  • https://yjkim97.tistory.com/53

[startupcodekr]

내 프로젝트의 문제점을 기반으로 작성하셔야합니다.
즉, 현재 개발하고 있는 프로젝트 시나리오와 관련이 있어야합니다.

[kwongiyeon]

넵! 내용 수정했습니다