장애 발생 시 재발 방지를 위해 어떤 대책을 마련하셨나요?

재발 방지 대책을 세웠는데 같은 원인의 다른 형태 문제가 다시 발생한 경험이 있습니다. API 서버 타임아웃 원인을 분석해 DB 배치 작업 스케줄을 변경하고 해결됐다고 생각했습니다. 하지만 몇 주 후 다른 배치 작업이 같은 시간대에 추가됐고 유사한 현상이 재발했습니다. 근본 원인은 스케줄 충돌이었는데, 특정 작업 하나만 수정했지 스케줄 충돌 자체를 막는 구조를 만들지 않은 것이 문제였습니다. 이후로는 원인 제거와 함께 동일 원인이 재발할 수 없는 구조적 방어 방안을 함께 수립하는 방식으로 바꿨습니다. 재발 방지 대책은 사건이 아니라 원인의 구조를 겨냥합니다.

이 실패가 이후 재발 방지 대책을 수립할 때 구조적 방어책과 증상 수정을 구분하는 기준이 됐습니다. 진짜 재발 방지는 같은 원인이 다시 발생할 수 없는 구조를 만드는 것입니다.