p99/p50 비교 → 구간 드릴다운 → 상관 지표 연결
대규모 서비스 로그를 처음 분석할 때 단순 에러 카운트보다 레이턴시 분포를 보는 것이 더 유용하다는 걸 배웠습니다. p99와 p50을 비교해 특정 사용자에게만 느린 경우와 전체가 느린 경우를 구분하니 원인이 다르게 보였습니다. 레이턴시가 급증하는 시간대를 특정하고 DB 슬로우 쿼리 로그와 시간축을 맞춰보니 특정 배치 작업이 실행될 때 I/O 경합이 발생하는 패턴을 찾았습니다. 로그를 서비스 → 미들웨어 → DB 계층 순서로 드릴다운하면서 각 구간의 소요 시간을 재니 실제 병목이 예상한 곳이 아니었습니다.
병목은 추측이 아니라 각 구간의 시간을 재서 찾아야 한다는 걸 그 경험으로 배웠습니다.