SLO 기반 우선순위 — 감각에서 숫자로
약 90초
지표 가시화 → SLO 기준 설정 → 알람 정밀화 → MTTR 추적
서비스 신뢰성을 높이는 작업을 처음 맡았을 때 가장 먼저 한 건 현재 상태를 숫자로 보는 것이었습니다. Prometheus와 Grafana로 에러율과 p99 레이턴시, 가용성을 대시보드에 올렸고, 그때서야 "잘 되는 것 같다"는 감각이 아니라 실제로 어디가 흔들리는지 보이기 시작했습니다. 우선순위는 SLO 위반 여부를 기준으로 잡았는데, 에러율이 0.5%를 넘기는 엔드포인트를 먼저 고치기로 합의했습니다. 알람 임계값은 처음에 너무 낮게 설정해서 노이즈가 많았고, 실제 사용자 영향이 있을 때만 울리도록 조정하는 데 두 주가 걸렸습니다. MTTR 기록을 쌓기 시작하면서 재발 유형이 보였고, 반복 장애의 60%가 특정 DB 쿼리 패턴에서 나온다는 걸 찾아냈습니다.
이 결의 특징
"잘 되는 것 같다"는 감각을 Prometheus·Grafana 대시보드로 관찰 가능성으로 전환한 구체적 실행이 있습니다. 에러율 0.5% 기준선을 정하고, 알람 임계값을 두 주에 걸쳐 정보신호와 노이즈로 구분한 실제 조율 과정이 드러납니다.
이 결이 통하는 자리
SLO 위반 여부가 우선순위 판단의 중심이 된 경험이 명확할 때 통합니다. 반복 장애 60%가 특정 DB 쿼리 패턴에서 나온다는 발견이 구체적 수치로 드러날 때, 신뢰성 운영을 체계적으로 할 수 있는 사람으로 평가받는 자리가 만들어집니다.