서비스 모니터링 첫 구축 경험
약 90초
운영 지표가 없던 서비스에 처음으로 모니터링을 붙인 경험
인턴 때 장애가 나야만 알 수 있는 구조로 운영되던 서비스를 맡았습니다. 에러가 나도 로그를 직접 찾아야 했고, 응답 시간 추이를 볼 방법이 없었습니다.
Prometheus로 에러율, 응답 시간 P50/P95, 활성 요청 수를 수집하고 Grafana 대시보드를 만들었습니다. 처음엔 알람 기준이 없어 에러가 1개만 나도 알람이 울려 팀이 알람 피로도를 호소했습니다. 에러율 기준으로 바꾸고 5분 집계 창을 두니 오탐이 줄었습니다.
가용성 지표로는 업타임 체크를 1분 간격으로 추가해 서비스가 아예 내려간 경우를 즉시 감지하게 했습니다. 모니터링 이전엔 장애를 사용자가 먼저 알았는데, 이후엔 내부에서 먼저 인지하게 됐습니다. 가시성은 곧 대응 속도라는 걸 그때 배웠습니다.
이 결의 특징
Prometheus로 에러율·응답시간을 수집하다 알람 피로도가 발생해 5분 집계 창으로 조정하고, 업타임 체크를 1분 간격으로 추가한 구체적 과정이 담겨 있습니다. 사용자가 장애를 먼저 알던 구조를 바꾼 전환점이 뚜렷합니다.
이 결이 통하는 자리
알람 피로도가 실제로 어떤 형태로 나타났는지와 5분 집계로 조정한 근거가 남아 있을 때 통합니다. 가시성이 대응 속도라는 결론이 실제 개선에서 나온 것임이 드러나면 면접관이 신뢰하는 결이 보입니다.