실시간 서비스 지표를 모니터링할 때 어떤 주요 지표를 중점적으로 살펴보나요?

실시간 서비스에서는 응답 지연(P95 latency)·오류율·트래픽 급증 여부 세 가지를 가장 먼저 봅니다. 인턴 기간에 Grafana 대시보드를 설정하면서 error rate > 1%와 p95 > 500ms를 Slack 알람 임계값으로 잡았고, 그 이후로 장애 인지 시간이 평균 8분에서 2분으로 줄었습니다. 트래픽 급등은 단순한 이상 신호가 아니라 때로는 이벤트 효과일 수 있어서, 같은 화면에 배포 이력도 올려놓고 같이 보는 방식을 썼습니다. 지표 하나만 보면 놓치기 쉬운 패턴을 복합 보기로 잡을 수 있었습니다. 지표 하나가 튀면 바로 원인을 찾으러 가는 게 아니라, 먼저 다른 지표와 연결지어 보는 습관이 생겼습니다.

스파이크의 90%는 배포나 이벤트였고, 나머지 10%가 진짜 장애였습니다. 빠른 판단보다 맥락을 먼저 보는 게 더 중요합니다.