Azure Monitor + 트레이스로 원인 좁히기 + 임시 우회 + 재시도 정책 적용 경험
인턴 기간에 Azure 기반 서비스에서 간헐적인 응답 지연 장애를 직접 경험했습니다. 처음에는 원인이 명확하지 않아서, Azure Monitor 지표와 Application Insights 트레이스를 함께 보면서 구간별로 원인을 좁혀갔습니다. 서비스 부하는 정상이었지만 특정 리전의 Storage Account 지연이 연결 타임아웃을 유발한다는 걸 트레이스를 통해 발견했습니다. 임시 대응으로는 읽기 작업을 캐시로 우회하는 방식을 먼저 적용해서 사용자 영향을 줄였습니다. 근본 원인은 Storage 연결 재시도 설정이 없어서 한 번 실패하면 전체 요청이 끊기는 구조였고, 재시도 정책과 타임아웃을 추가해서 해결했습니다. 장애 대응 후에는 비슷한 증상이 재발하면 자동으로 알림이 오는 알림 규칙을 추가해서 사후 모니터링을 강화했습니다.
장애 대응에서는 증상과 원인을 구분하고, 증상 완화와 근본 해결을 단계적으로 분리하는 것이 중요하다는 걸 배웠습니다.