LLM 학습이나 파인튜닝을 위한 프롬프트와 응답 데이터셋을 어떻게 구축했는지 사례를 들어 설명해 주세요.

수작업으로 구축할 수 있는 Q&A 쌍이 200개에 불과했는데, 파인튜닝에 충분한 데이터를 확보하기 위해 처음으로 GPT로 유사 질문과 답변을 생성해 데이터를 확장하는 작업을 맡게 됐어요. 합성 데이터를 추가하니 수량은 늘었지만 실제 사용자 질문과 문체와 표현 방식이 달라 파인튜닝 모델이 수작업 데이터만 학습한 것보다 일부 성능이 낮아졌습니다.

합성 데이터는 데이터 부족 문제를 완화할 수 있지만 실제 분포와 다른 패턴이 섞이면 오히려 모델을 잘못된 방향으로 학습시킬 수 있고, 합성과 수작업 비율을 신중하게 조정해야 한다는 걸 그 경험에서 배웠어요. 합성 데이터를 사용할 때는 수작업 데이터와의 분포 유사성을 먼저 검증하고 비율을 실험적으로 결정해야 한다는 걸 알았습니다.

지금은 합성 데이터 도입 시 수작업 데이터와 합성 데이터의 품질 차이를 먼저 측정하고, 합성 비율을 단계적으로 높여가며 성능 변화를 확인하는 방식을 씁니다. 데이터는 더 많을수록 좋은 게 아니라 더 적합할수록 좋다는 원칙이 그 경험에서 나왔습니다.