솔직한 경험 기반 접근
데이터 검증을 자동화한 자리에서 가장 먼저 만든 것은 형식 검사 스크립트였습니다. 수업 팀 프로젝트에서 여러 출처에서 데이터가 들어올 때, 매번 수동으로 확인하는 자리가 오래 걸렸습니다. 컬럼 타입·결측값 비율·범위 이상치를 자동으로 확인하는 검증 스크립트를 만들었고, 새 배치가 들어올 때마다 실행해 로그를 남기는 방식으로 운영했습니다. 도구는 pandas의 describe()와 직접 작성한 규칙 기반 함수를 조합했습니다. 더 나아가면 Great Expectations 같은 프레임워크가 있다는 것을 알게 됐지만, 그 자리에서는 간단한 스크립트가 더 빠른 선택이었습니다. 자동화는 완벽하지 않아도 반복되는 수동 자리를 줄이는 것부터 시작하면 효과가 납니다.