데이터 클렌징 작업을 수행할 때 어떤 절차를 따르나요?

데이터 전처리와 라벨링에서 제가 가장 중요하게 생각하는 것은 추적 가능성(Traceability)입니다. 나중에 모델 성능 저하가 발생했을 때 어떤 전처리 기준이 문제였는지 소급 추적할 수 있는 구조가 없으면 원인 파악이 불가능합니다. 저는 전처리 버전, 적용 시점, 처리 통계를 메타데이터로 저장하고, 라벨링 데이터에는 라벨러 ID, 라벨링 시점, 신뢰도 점수를 함께 기록합니다. 이를 통해 특정 라벨러의 기준 편향이나 시점별 데이터 분포 변화를 사후에 분석할 수 있습니다. 프로젝트에서 이 추적 체계 덕분에 모델 성능 저하 원인을 하루 만에 특정하고 해당 데이터를 재처리해 해결한 경험이 있습니다. 추적 가능성은 데이터 파이프라인의 감사 능력이자 지속적 개선의 기반입니다.