경험 기반 솔직한 접근
데이터 품질 확보를 위한 수집 기준은 완전성·정확성·일관성·적시성 네 가지를 기준으로 정의합니다. 완전성은 수집 항목에 결측이 없는지, 정확성은 실제 값과 수집 값이 일치하는지를 확인합니다. 정기 샘플링 검증으로 수집된 데이터의 오류율을 모니터링합니다. 검증 프로세스는 스키마 검증(타입·범위 확인) → 비즈니스 규칙 검증 → 이상치 탐지 순서로 진행합니다. 수업 프로젝트에서 크롤링 데이터를 정제하는 파이프라인을 구현하면서, 수집 단계부터 유효성 검사를 넣어두지 않으면 후처리 비용이 크게 증가한다는 것을 배웠습니다.
데이터 품질은 파이프라인 끝에서 확인하는 것이 아니라 수집 시점부터 설계하는 것임을 이해했습니다.