[Prometheus] 프로메테우스 config reload

👍🏼 요약

HTTP POST 요청 혹은 프로세스 시그널(kill) 명령으로 재시작 없이 reload가 가능하다.

• HTTP POST 방식
  • curl -X POST http://localhost:9090/-/reload
  • 프로메테우스 설정에서 Lifecycle 옵션이 활성화 되어있어야 한다.

• 프로세스 시그널
  • kill -SIGHUP [PID]    
    
  • kill -1 [PID]
    (두 명령 동일함)
  • ps -ef | grep [process 이름]  
    해당 명령으로 PID 확인 가능

 

🔃 프로메테우스 config reload

💡프로메테우스 구성/운영 중 감시 대상을 변경하거나 알람 role를 추가하는 등 프로메테우스 설정을 변경해야 하는 경우가 존재한다. 본인의 경우 현재 컨테이너로 동작중에 있어 config 파일을 수정하고 재시작을 하게되면 컨테이너 내부의 데이터가 사라진다.
이때 컨테이너로 운영중인 프로메테우스를 재시작 하지않고 config 파일을 업데이트하는 방법을 한번 찾아보았다.

 

현재 prometheus.yaml 파일에 다음 항목을 추가하였다.

사진-1

 

그리고 volume 옵션으로 컨테이너 내부 config 파일 또한 내용이 수정된 것을 확인할 수 있다.

사진-2

 

그러나 실제 수집하는 targets을 확인하면, 아직 적용되지 않았다.

사진-3

 

이에 config 파일을 적용시키는 두 가지 방안을 찾아보았다.

• 물론 설정 및 메트릭 값은 컨테이너 외부로 저장되게 끔 구성하여 컨테이너를 재시작해도 모니터링 내역이 사라진다거나 하는 문제는 발생하지 않는다.
• 근데 재시작 없이 config 을 적용시키는 방법이 궁금하여 한번 찾아보았다.

 

1. HTTP POST 요청

FAQ | Prometheus

FAQ | Prometheus

prometheus 공식 문서를 찾아보니, HTTP POST를 통해 설정 적용(config reload)이 가능하다고 한다!

 

Prometheus Lifecycle API로 다음과 같이 설정을 적용시킬 수 있다.

curl -X POST http://localhost:9090/-/reload

 

 

1.1 테스트 진행

그러나, 본인이 실행했더니 Lifecycle API is not enabled 라 나타나며 실행되지 않는다.

사진-4

 

 

해당 API가 활성화 되지 않았다는 것인데, 다음과 같이 docker compose를 수정하여 활성화시킨다.

사진-5

# docker-compose.yaml
    command:
      - --config.file=/etc/prometheus/prometheus.yml
      - --storage.tsdb.path=/prometheus
      - --web.enable-lifecycle

 

 

그리고 적용을 다시 테스트해보기 위해 다음과 같이 Test 이름의 target을 생성한 뒤 api를 호출해보겠다.

사진-6

1.2 적용 이전

사진-7

 

1.3 적용 이후

사진-8

HTTP POST 호출로 prometheus 재시작 없이 config 적용을 완료하였다!!

 

2. 프로세스 SIGHUP 시그널

다음은 시그널(kill) 명령으로 설정 파일을 다시 로드하는 방법을 확인해보겠다.

적용 확인을 위해 다음과 같이 target을 Test2 로 수정하였다.

  - job_name: 'Test2'
    file_sd_configs:
      - files:
          - IDC_win_targets.json
        refresh_interval: 5m

 

 

이후 다음 명령을 통해 설정을 적용시켜보겠다.

kill -SIGHUP [PID]
kill -1 [PID]

사진-9

(본인의 경우 컨테이너 내부로 접근하여 진행하여 pid가 1로 구성되어 있다.)

 

실행 결과 다음과 같이 정상적으로 target이 Test2로 갱신된 것을 확인할 수 있다!

사진-10

이렇게 시그널을 통해 prometheus 프로세스를 재적용하여 적용시키는 방법까지 살펴보았다.

시그널(kill 명령)에 대한 내용도 나중에 다시 한번 정리해보겠다.