프로젝트 배경 결 → 데이터 구성 결 → 평가 결 → 성과 결
한국어 특화 LLM과 관련된 데이터 작업 경험은 수업 과제에서 한국어 문어체와 구어체를 섞은 텍스트 분류 데이터셋을 구축한 것에서 왔습니다. 프로젝트 배경 자리에서는 영어 중심 데이터로 학습된 모델이 한국어 구어체나 줄임말을 잘못 처리하는 문제를 직접 확인한 것이 출발점이었습니다. 데이터 구성 자리에서는 SNS 텍스트·댓글·뉴스 기사를 균형 있게 섞어 도메인 편향이 생기지 않도록 했습니다. 라벨 정의를 명확하게 해야 라벨러 간 일치도가 올라갑니다. 평가 자리에서는 라벨 작업 후 서로 다른 라벨러 두 명이 동일한 샘플을 평가하게 해서 일치율을 측정했습니다. 불일치가 잦은 케이스는 라벨 가이드를 보완하는 신호로 활용했습니다. 성과 자리에서는 최종 데이터셋으로 파인튜닝한 모델이 기존 범용 모델 대비 구어체 텍스트 분류 정확도가 9포인트 올라갔습니다.