지표 가시화 → SLO 기준 설정 → 알람 정밀화 → MTTR 추적
서비스 신뢰성을 높이는 작업을 처음 맡았을 때 가장 먼저 한 건 현재 상태를 숫자로 보는 것이었습니다. Prometheus와 Grafana로 에러율과 p99 레이턴시, 가용성을 대시보드에 올렸고, 그때서야 "잘 되는 것 같다"는 감각이 아니라 실제로 어디가 흔들리는지 보이기 시작했습니다. 우선순위는 SLO 위반 여부를 기준으로 잡았는데, 에러율이 0.5%를 넘기는 엔드포인트를 먼저 고치기로 합의했습니다. 알람 임계값은 처음에 너무 낮게 설정해서 노이즈가 많았고, 실제 사용자 영향이 있을 때만 울리도록 조정하는 데 두 주가 걸렸습니다. MTTR 기록을 쌓기 시작하면서 재발 유형이 보였고, 반복 장애의 60%가 특정 DB 쿼리 패턴에서 나온다는 걸 찾아냈습니다.