데이터 품질 관리: 인식 → 방법 → 조치 → 교훈
약 90초
품질 문제 발견에서 해결 방법, 배운 점까지 경험 기반으로 서술
팀 프로젝트에서 모델 성능이 기대보다 낮아 원인을 추적하다 데이터 품질 문제를 발견한 경험이 있습니다. 학습 데이터의 약 15%가 결측값이었는데, 처음엔 모델 구조 문제로 짐작했다가 EDA 단계에서 패턴이 보여 데이터로 방향을 돌렸습니다. 사용한 품질 관리 방법은 결측값 분포 시각화, 이상치 탐지(IQR 기반), 라벨 불일치 샘플 수작업 확인이었습니다. 조치로는 결측값을 단순 제거가 아니라 컬럼별 결측 패턴을 파악해 보간 방식을 달리 적용했습니다. 시계열 컬럼은 선형 보간, 카테고리형은 최빈값으로 처리했습니다. 그 과정에서 얻은 교훈은 데이터 품질 점검은 모델 학습 전이 아니라 수집 직후부터 시작해야 한다는 것이었습니다. 나중에 발견할수록 수정 비용이 커지는 걸 직접 겪었고, 이후 파이프라인에 자동 품질 검사 단계를 추가했습니다.
이 결의 특징
모델 성능 문제를 추적하다 데이터 품질로 원인을 되돌리는 결이 보입니다.
이 결이 통하는 자리
문제 진단의 방향 전환 능력을 확인하는 자리에서 통하는 결입니다.