메트릭 이상 탐지 후 플레임 그래프 분석·DB 슬로우 쿼리 색출로 원인 격리 결
프로덕션 트러블슈팅에서 제가 먼저 확인하는 것은 언제부터 이상이 발생했는지 시점 파악입니다. Grafana 메트릭에서 CPU·메모리·응답 시간 그래프를 배포 이력과 겹쳐보면 원인이 배포인지 트래픽 급증인지를 빠르게 구분할 수 있었습니다.
인턴 프로젝트에서 특정 API 응답이 갑자기 느려지는 현상을 분석한 적이 있습니다. 플레임 그래프로 CPU 사용 패턴을 확인하니 직렬 처리되는 루프 안에서 DB 쿼리가 반복 호출되고 있었습니다. 슬로우 쿼리 로그에서도 동일 쿼리가 반복 찍히는 것을 확인해 N+1 문제로 좁혀졌습니다.
수정 후에는 이전 메트릭과 비교해 개선 효과를 수치로 기록했습니다. 재발 방지를 위해 해당 패턴을 코드 리뷰 체크리스트에 추가했고, 팀원들이 같은 실수를 반복하지 않도록 공유했습니다.