A
약 120초
Great Expectations로 3단계 검증 지점 구조화
데이터 품질 유지에서 가장 먼저 정한 것은 검증 지점입니다. 입수 직후, 가공 후, 적재 전 세 군데에 체크를 넣어야 어디서 오염됐는지 빠르게 찾을 수 있었습니다. 프로젝트에서 Great Expectations를 써봤는데, 기대값 정의를 코드로 관리하니 새로운 데이터가 들어올 때마다 자동으로 검증되는 구조가 됐습니다. 이상 신호를 잡는 방식으로는 날짜 필드 범위 이탈, Null 비율 급증, 분포 이동을 모니터링 지표로 썼습니다. 특히 분포 이동은 값 하나가 틀린 게 아니라 패턴 자체가 바뀌는 경우라 놓치기 쉬웠습니다. 한계는 스트리밍 데이터의 품질 관리는 아직 경험하지 못했습니다. 배치 기반 검증 방식은 익숙하지만, 실시간 파이프라인에서는 다른 접근이 필요할 것이라 생각합니다.
이 결의 특징
입수 직후·가공 후·적재 전 세 지점에 검증을 분산한 흔적이 있습니다. Great Expectations로 기대값을 코드로 관리해 자동 검증 루프를 만든 결이 보입니다.
이 결이 통하는 자리
파이프라인 오염 원인을 빠르게 좁혀야 하는 자리에서 통합니다. 어느 단계에서 값이 바뀌었는지 추적 속도가 달라지는 결이 자주 보입니다.