로그 패턴 → 스케줄 충돌 제거 → 모니터링 추가
인턴 당시 API 서버가 특정 시간대에만 타임아웃이 나는 이슈를 분석했습니다. 장애 재현이 불규칙했는데, 로그를 수집해 패턴을 보니 DB 커넥션 풀이 특정 배치 작업 실행 구간에서 고갈되는 것이었습니다. 커넥션 풀 크기와 배치 작업 스케줄을 조정해 피크 구간이 겹치지 않도록 수정했고, 이후 타임아웃이 사라졌습니다. 재발 방지 대책으로는 커넥션 풀 사용률을 모니터링 지표에 추가하고, 80% 이상 도달 시 슬랙 알림이 오도록 설정했습니다. 더 중요했던 건 분석 과정을 타임라인 형식으로 문서화해 팀에 공유한 것이었는데, 다음 달 유사 이슈 발생 시 그 문서가 바로 활용됐습니다.
장애 문서화가 팀의 집단 기억이 된다는 걸 이 경험으로 실감했습니다.