데이터 품질 검증 우선과 단계적 파이프라인 설계 결
학교 프로젝트에서 텍스트 분류 모델 성능 개선을 위해 데이터 파이프라인을 처음 설계하였습니다. 원시 데이터를 수집하고 중복 제거, 노이즈 필터링, 레이블 검증 순으로 처리하였는데, 레이블 오류가 생각보다 많아서 검수 단계를 추가하였습니다. 그 작업이 모델 정확도에 가장 크게 기여하였고, 데이터 품질이 알고리즘보다 먼저라는 것을 몸으로 배웠습니다.
모델 튜닝보다 데이터 정제에 더 많은 시간을 써야 한다는 교훈이었습니다. 입력 데이터가 바뀌면 모든 것이 바뀐다는 경험이 파이프라인 설계에 진지하게 접근하게 만들었습니다. 파이프라인 설계가 먼저 탄탄해야 모델 실험의 결과가 의미 있어지는 것입니다.