추론 서버 레이턴시 이상 감지 — 알림 설정 경험
약 120초
경험 중심 — 응답 지연 발생 후 알림 규칙을 뒤늦게 세운 경험
인턴 때 추론 서버에 Prometheus를 붙이고 Grafana로 대시보드를 만들었습니다. 처음에는 단순히 메트릭이 보이는 것 자체에 만족했으나, 어느 날 p95 레이턴시가 30분 넘게 500ms를 초과하고 있었는데 아무도 몰랐던 사건이 발생했습니다.
알람 규칙이 없었던 것이 원인이었고, 이후에 AlertManager로 p95가 200ms를 2분 이상 초과하면 슬랙 알림이 오도록 설정했습니다. 알람을 너무 예민하게 잡으면 알림 피로가 생긴다고 들어서, 5분 평균 기준으로 조정했습니다.
Grafana 대시보드에는 요청 수, 오류율, p50/p95/p99 레이턴시, GPU 메모리 사용률을 한 화면에 배치했습니다. 그 결과 이상 징후를 10분 내로 파악할 수 있게 되었고, 팀장님께서 이제 모니터링다운 모니터링이 되었다고 말씀하셨습니다.
이 결의 특징
인턴 때 추론 서버에 Prometheus를 붙이고 Grafana로 대시보드를 만들었습니다. 처음에는 단순히 메트릭이 보이는 것 자체에 만족했으나, 어느 날 p95 레이턴시가 30분 넘게 500ms를 초과하고 있었는데 아무도 몰랐던 사건이 발생했습니다라는 흔적이 있습니다
이 결이 통하는 자리
알람 규칙이 없었던 것이 원인이었고, 이후에 AlertManager로 p95가 200ms를 2분 이상 초과하면 슬랙 알림이 오도록 설정했습니다. Grafana 대시보드에는 요청 수, 오류율, p50/p95/p99 레이턴시, GPU 메모리 사용률을 한 화면에 배치했습니다. 그 결과는 자리에서 통합니다