데이터 정합성 검증을 위해 어떤 절차나 도구를 사용했는지 예를 들어 설명해 주세요.

데이터 파이프라인 프로젝트에서 소스와 타깃의 행 수 비교부터 시작했습니다. 단순하지만 전체 데이터가 빠지지 않고 넘어갔는지 확인하는 가장 빠른 방법이었습니다. 이후 NULL 비율, 중복 키, 주요 컬럼 값 분포를 파이프라인 각 단계마다 체크하는 로직을 추가했습니다.

중간 단계에서 이상이 생기면 마지막에 잡는 게 훨씬 어렵다는 것을 배웠습니다. 단계별 검증 로그를 남기도록 하여 문제가 어느 단계에서 생겼는지 바로 추적할 수 있게 했습니다. 정합성 검증은 파이프라인 설계와 함께 넣어야 한다는 것이 그 경험의 교훈이었습니다. 나중에 검증 로직을 추가하면 기존 구조를 손대야 하고, 히스토리 로그도 없어서 원인 추적이 어려워지더라고요. 초반에 넣는 것이 훨씬 이득입니다.