생산 환경에서 발생한 사건을 해결한 경험을 공유해 주세요.

백엔드 주니어 2년차로 일하던 중, 결제 API 에러율이 평소 0.2%에서 5%로 튄 알람을 새벽에 받은 적이 있습니다. 그날 당직이었고, 첫 30분은 영향 범위부터 봤습니다.

원인 분석은 로그·메트릭·최근 배포 이력 셋을 동시에 봤습니다. 30분 전에 들어간 배포가 의심돼서 그 PR의 diff를 보니 외부 PG 호출에 타임아웃 5초가 빠져 있었습니다. 기본값이 무한대라 한 요청이 커넥션을 점유해 풀이 고갈된 거였습니다.

제 역할은 롤백 결정과 실행, 그리고 사후 회고 작성이었습니다. 시니어분께 상황 보고 후 동의받아 5분 안에 롤백을 했고, 에러율은 10분 안에 0.3%로 복구됐습니다.

사후로는 타임아웃 기본값을 코드 레벨에서 강제하는 lint 룰을 추가했고, 회고를 노션에 올렸습니다. 같은 패턴이 다음 분기 점검에서 다른 두 곳에 더 있어 그쪽도 함께 수정했습니다.