장애 발생 후 로그를 역추적해 원인을 찾아낸 경험 중심으로 푸는 결
인턴 때 서비스에서 간헐적으로 응답 오류가 발생하는 상황을 보고받고 원인을 조사하는 일을 맡았습니다. 오류가 불규칙하게 나타나서 재현이 어려웠습니다. 먼저 오류가 발생한 시점의 로그를 수집해 패턴을 찾기 시작했습니다. 오류 직전에 특정 외부 API 호출이 타임아웃되는 패턴이 반복된다는 걸 발견했습니다. 타임아웃이 길게 설정되어 있어서 한 요청이 오래 걸리면 그 사이 다른 요청이 밀리는 구조였습니다. 타임아웃을 줄이고 재시도 로직을 추가하는 것으로 증상이 크게 줄었습니다. 다만 외부 API가 왜 느린지는 확인하지 못했고, 외부 의존성의 상태를 모니터링하는 체계가 없었다는 점이 남은 과제였습니다. 장애 원인이 내부가 아닌 외부일 수 있다는 가능성을 처음부터 함께 확인해야 한다는 걸 배웠습니다.