비즈니스 메트릭의 무결성을 보장하기 위해 어떤 시스템 체크와 자동화된 검증 프레임워크를 개발해본 경험이 있나요?

인턴 때 일 집계 메트릭이 가끔 전날과 수십 배 차이가 나는 이상 값이 생기는 문제를 발견했습니다. 매번 수작업으로 확인하다 보니 발견이 늦었고, 이미 리포트에 반영된 다음에야 잡히는 경우도 있었습니다. 저는 파이프라인 완료 후 자동으로 몇 가지 체크를 돌리는 스크립트를 짰습니다. 체크 항목은 전일 대비 변화율 임계값, NULL 비율, 레코드 수 급감 세 가지였습니다.

Python으로 작성하고 Airflow DAG 마지막 태스크로 연결해, 임계값을 넘으면 슬랙으로 알림이 가게 했습니다. 적용 후 이상 값 조기 감지율이 올라갔고, 리포트 반영 전에 잡힌 건수가 늘었습니다. 완벽한 프레임워크는 아니었지만, 체크가 자동화되면서 사람이 매일 눈으로 보는 부담이 줄었다는 피드백을 팀에서 받았습니다. 그 경험으로 메트릭 무결성은 도구보다 언제 어떤 이상을 감지할지 기준을 먼저 정하는 것이 핵심이라고 생각하게 됐습니다.