SFT와 RL을 사용한 모델 성능 고도화에 대해 간단히 설명해 주실 수 있나요?

SFT(Supervised Fine-Tuning)를 활용해 법률 문서 요약 특화 모델을 개발한 경험이 있습니다. 범용 LLM이 법률 용어와 문장 구조를 제대로 처리하지 못해 요약 품질이 낮았고, 직접 도메인 데이터로 미세조정이 필요했습니다. (입력 문서, 기대 요약) 쌍 3천 건을 구축해 LoRA 방식으로 파라미터 효율적 파인튜닝을 진행했습니다.

학습률 스케줄, 배치 크기, 에폭 수를 검증 손실 기준으로 튜닝했고, Overfitting 징후를 조기에 잡기 위해 Early Stopping을 설정했습니다. 최종 모델의 ROUGE-L이 베이스라인 대비 18% 향상됐고 법률 용어 오류가 절반으로 줄었습니다.

SFT 접근 이유는 레이블 데이터가 충분하고 목표 출력 형식이 명확한 경우에 가장 효율적이기 때문입니다. 이 경험으로 데이터 품질이 모델 성능의 핵심임을 체감했습니다.