A
약 75초
경험 중심 1인칭 답변
인턴 프로젝트에서 배포 후 모니터링 당번을 맡으면서 준온콜 상황을 경험했습니다. 배포 다음 날 새벽 알림 서비스 응답 지연이 발생했는데, 슬랙 알림으로 먼저 확인하고 로그를 분석했습니다. 로그에서 특정 배치 작업이 DB 커넥션을 과도하게 잡아두는 것이 원인이었고, 배치 실행 주기를 임시 변경해 즉각 완화했습니다. 그 뒤 근본 원인인 커넥션 풀 설정값이 부족했던 것을 조정하고 재배포했습니다. 이 경험에서 온콜 대응에서 중요한 것 두 가지를 배웠습니다. 첫째, 즉각 완화(mitigation)와 근본 해결(fix)을 분리해서 먼저 서비스를 안정화하는 것이 우선이라는 것. 둘째, 무엇을 했는지 실시간으로 기록해두면 나중에 포스트모템 작성이 훨씬 쉬워진다는 것입니다. 온콜은 기술 능력만큼 침착하게 단계를 밟는 판단력이 중요하다고 생각합니다. 앞으로도 온콜 상황에서 완화 먼저 — 근본 해결 나중의 순서를 지키겠습니다.
서비스를 빠르게 안정화하는 것이 가장 중요한 첫 번째 행동이라는 원칙이 생겼습니다.