데이터 품질 체크를 구현할 때 어떤 기준이나 절차를 사용하시나요?

데이터 품질 체크를 처음 구현해본 건 데이터 파이프라인 수업 프로젝트에서였습니다. 완전성·정확성·일관성·적시성 네 가지를 기준으로 체크리스트를 먼저 만들고, 그 기준이 실제 데이터에서 어떻게 측정될 수 있는지를 하나씩 연결했습니다. 절차는 데이터가 들어오는 시점에 자동으로 NULL 비율, 중복 행, 범위 이탈 값을 집계하는 스크립트를 돌리는 방식을 썼습니다. 기준값을 넘으면 알림을 보내는 단순한 구조였지만, 문제가 생겼을 때 어느 단계에서 오염됐는지 빠르게 좁힐 수 있었습니다. 품질을 측정하는 건 통과/실패보다 시간에 따른 지표 변화를 추적하는 게 더 실용적이라는 걸 그 경험에서 느꼈습니다. 한 번은 특정 날짜 이후로 숫자 컬럼에 문자열이 들어오는 문제가 있었는데, 히스토리 비교를 통해 소스 시스템 변경 시점과 일치한다는 걸 파악하고 원인을 좁혔습니다. 품질 문제는 데이터 자체보다 업스트림 변경이 원인인 경우가 더 많다는 패턴을 그 경험이 가르쳐줬습니다.