ML 데이터 준비: 수집→정제→분리→검증 4단계 루틴
약 70초
AI 프로젝트에서 데이터 준비를 어떻게 체계적으로 진행했는지 설명
AI 프로젝트에서 데이터 준비가 전체 시간의 절반 이상을 차지한다는 걸 처음엔 실감하지 못했습니다. 실제로 해보니 수집된 데이터가 그대로 쓸 수 있는 형태인 경우는 거의 없었습니다. 먼저 결측치·이상치·중복 여부를 확인하고, 도메인 지식을 바탕으로 어떤 데이터를 제거하고 보정할지 판단하는 단계가 제일 공수가 많이 들었습니다.
훈련/검증/테스트 세트를 분리할 때 시간 순서를 고려하지 않고 무작위로 나눠 시간 누수(data leakage)가 생겼고, 그 오류를 뒤늦게 발견해 처음부터 다시 한 경험이 있습니다. 분리 기준이 잘못되면 모델 성능이 과대평가된다는 것을 그때 배웠습니다. 이후엔 전처리 코드를 파이프라인으로 묶어 재현 가능하게 유지하는 방향을 잡았습니다.
데이터 품질이 모델 성능의 상한선을 결정한다는 게 실제로 맞는 말이었습니다.
이 결의 특징
무작위 분리로 시간 누수가 생겨 처음부터 다시 한 구체 실패와, 이후 전처리를 파이프라인으로 재현 가능하게 만든 개선이 담긴 흔적이 있습니다.
이 결이 통하는 자리
데이터 품질이 모델 성능의 상한선을 결정한다는 관점이 구체 실패와 함께 드러날 때 통합니다.