Great Expectations로 3단계 검증 지점 구조화
데이터 품질 유지에서 가장 먼저 정한 것은 검증 지점입니다. 입수 직후, 가공 후, 적재 전 세 군데에 체크를 넣어야 어디서 오염됐는지 빠르게 찾을 수 있었습니다. 프로젝트에서 Great Expectations를 써봤는데, 기대값 정의를 코드로 관리하니 새로운 데이터가 들어올 때마다 자동으로 검증되는 구조가 됐습니다. 이상 신호를 잡는 방식으로는 날짜 필드 범위 이탈, Null 비율 급증, 분포 이동을 모니터링 지표로 썼습니다. 특히 분포 이동은 값 하나가 틀린 게 아니라 패턴 자체가 바뀌는 경우라 놓치기 쉬웠습니다. 한계는 스트리밍 데이터의 품질 관리는 아직 경험하지 못했습니다. 배치 기반 검증 방식은 익숙하지만, 실시간 파이프라인에서는 다른 접근이 필요할 것이라 생각합니다.