로그 시각화로 장애 원인을 찾은 분석 경험 결
인턴 때 24시간 운영되는 사내 알림 서비스에서 야간에 장애가 반복되는 문제가 있었습니다. 로그를 보면 매일 새벽 2~3시 사이에 연결이 끊기는데 원인을 못 찾고 있었습니다.
제가 맡은 건 로그를 시간대별로 분석하는 작업이었습니다. 처음에는 무작정 grep으로 에러 메시지만 찾았는데, 패턴이 안 보였습니다. DB 커넥션 수를 시간별로 시각화해봤더니 새벽에 커넥션 풀이 소진되는 게 보였습니다. 알고 보니 배치 작업이 밤마다 돌면서 커넥션을 반환하지 않고 있었습니다.
그 분석 결과를 선임 개발자에게 공유했고, 배치 작업 코드에서 커넥션 반환 누락을 수정했더니 이후 2주 동안 같은 장애가 사라졌습니다. 로그만 읽어서는 안 되고 지표를 시각화해야 패턴이 보인다는 걸 그때 배웠습니다.