요구사항 분석부터 품질 보장까지 체계화
사용자 요구에 맞는 데이터셋 설계에서 가장 중요한 것은 요구사항을 데이터 속성으로 번역하는 과정이라고 생각합니다. 먼저 사용자(내부 팀이든 비즈니스 팀이든)와 모델의 목적, 예측 대상, 배포 환경을 함께 정의합니다. 설계 과정으로는 입력 피처 후보를 도출하고, 실제로 수집 가능한지·시간적으로 누출이 없는지(Label Leakage)를 검토합니다.
고려사항으로는 데이터 수집 편향, 클래스 불균형 비율, 훈련·검증·테스트 분할 전략을 함께 설계합니다. 사용자 요구 파악은 사용 시나리오 walk-through로 진행해 실제 서비스에서 어떤 데이터가 어느 시점에 들어오는지를 명확히 합니다. 품질 보장으로는 데이터 스키마 검증, 결측값 허용 범위, 레이블 품질 기준을 문서화하고, 자동 검증 스크립트를 파이프라인에 포함시킵니다. 이 체계로 모델 개발 중 데이터 문제로 인한 재작업이 크게 줄었습니다.