백업 복구 실패 경험 — 원인 분석 + 백업 검증 체계 구축
백업 업무에서 가장 어려웠던 경험은 백업이 완료됐다고 표시됐지만 실제 복구 시 데이터가 손상된 상황이었습니다. 장애 발생 후 백업에서 복구를 시도했는데, 특정 테이블의 데이터가 누락된 것을 발견했습니다. 원인을 분석하니 백업 중 일부 테이블에 대한 Flush 과정이 생략돼 불완전한 스냅샷이 저장된 것이었습니다. 이 경험 이후 **백업 완료 후 복구 테스트를 별도 환경에서 실행하는 절차를 표준화했습니다. 실제 복구가 가능한지 확인하지 않은 백업의 유효성을 검증하지 않은 것은 백업이 아니라는 걸 그 경험으로 배웠습니다.
복구 테스트는 분기 1회 이상 실제로 실행하는 것을 루틴으로 만들었습니다. 팀 협력 면에서는 백업 검증 절차를 문서화하고 팀 전체가 같은 기준으로 운영하도록 공유했고, 이후 유사한 문제가 재발하지 않았습니다.