백엔드 주니어 당직 중 결제 API 에러율 급등을 30분 안에 롤백·복구한 경험
약 90초
사건(에러율 5%) → 원인 분석(배포 diff·타임아웃 미설정) → 본인 역할(롤백 결정·실행) → 사후 조치(lint 룰·회고)
백엔드 주니어 2년차로 일하던 중, 결제 API 에러율이 평소 0.2%에서 5%로 튄 알람을 새벽에 받은 적이 있습니다. 그날 당직이었고, 첫 30분은 영향 범위부터 봤습니다.
원인 분석은 로그·메트릭·최근 배포 이력 셋을 동시에 봤습니다. 30분 전에 들어간 배포가 의심돼서 그 PR의 diff를 보니 외부 PG 호출에 타임아웃 5초가 빠져 있었습니다. 기본값이 무한대라 한 요청이 커넥션을 점유해 풀이 고갈된 거였습니다.
제 역할은 롤백 결정과 실행, 그리고 사후 회고 작성이었습니다. 시니어분께 상황 보고 후 동의받아 5분 안에 롤백을 했고, 에러율은 10분 안에 0.3%로 복구됐습니다.
사후로는 타임아웃 기본값을 코드 레벨에서 강제하는 lint 룰을 추가했고, 회고를 노션에 올렸습니다. 같은 패턴이 다음 분기 점검에서 다른 두 곳에 더 있어 그쪽도 함께 수정했습니다.