예시 답변 1
약 90초
LLM 학습 데이터 품질 기준 수립
LLM Post-training 데이터를 구축할 때 데이터 품질 기준을 먼저 문서화하는 방식으로 접근합니다. 기준 없이 수집하면 양은 많아도 모델이 원하는 방향으로 학습되지 않는 문제가 반복됩니다. 저는 유창성, 사실성, 지시 준수율, 안전성 4개 축으로 기준을 세우고, 각 축마다 자동 필터와 사람 검토 기준을 병행해 적용했습니다. 수집 단계에서는 출처 다양성을 확보하기 위해 도메인별 비율 쿼터를 설정했고, 중복 제거를 위해 MinHash LSH를 활용했습니다. 전처리에서는 HTML 노이즈 제거, 인코딩 정규화, 길이 필터를 순차 적용했습니다. 결과적으로 데이터 양은 30% 줄었지만 학습 후 모델 품질이 오히려 높아졌습니다.
핵심 교훈은 데이터 품질 기준은 모델 목표와 함께 설계돼야 한다는 점입니다.
이 결의 특징
유창성·사실성·지시 준수율·안전성 4축 기준을 문서화하고 자동 필터와 사람 검토를 병행했다는 설계가 이 결의 특징입니다. MinHash LSH 중복 제거와 도메인별 비율 쿼터가 구체적인 구현 경로로 연결되어 꼬리질문이 줄어드는 경향이 보입니다.
이 결이 통하는 자리
LLM 학습 데이터 파이프라인을 설계해본 팀에서 통합니다. '데이터 양은 30% 줄었지만 품질이 올랐다'는 수치가 기준 설계의 효과를 역설적으로 증명하는 방식으로 작동해, 선정 기준 자체에 관심이 있는 면접관에게 신뢰를 쌓는 결이 자주 보입니다.