금액 불일치 → 지연 처리 → 중복 처리 각각 감지 설계
정산 시스템의 장애는 금액 불일치, 지연 처리, 중복 처리 세 가지 유형이 가장 빈번하게 발생한다고 생각합니다. 각 유형마다 탐지 방식이 달라서 금액 불일치는 reconciliation 배치 결과로, 지연은 SLA 초과 건수로, 중복은 결제 키 기준 중복 레코드 카운트로 각각 알람을 설계했습니다. 알람 임계값은 금액 비례로 설정했는데, 1만 원 미만 불일치와 100만 원 불일치를 같은 알람으로 처리하면 우선순위 판단이 어려워집니다.
Grafana에 정산 완료율, 오류율, 평균 처리 시간을 대시보드로 올려두고, 정상 상태의 기준값을 먼저 정의해두는 것이 이상 감지 민감도를 높이는 핵심이었습니다.