자연어 처리 프로젝트에서 어떤 언어 모델을 사용했으며, 그 이유는 무엇인가요?

공개된 한국어 NLP 모델이 의료 문서의 특수 용어를 제대로 처리하지 못해 처음으로 의료 말뭉치로 임베딩 모델을 처음부터 학습하는 작업을 맡게 됐어요. 사전 학습 데이터 준비, 토크나이저 확장, 학습 인프라 설정을 모두 새로 해야 했고, 얼마나 많은 도메인 데이터가 있어야 의미 있는 개선이 생기는지를 처음부터 몰랐습니다.

도메인 특화 임베딩 모델 훈련은 데이터 양보다 데이터 다양성이 더 중요하고, 유사한 문서만 대량으로 있는 것보다 도메인 내 다양한 표현을 포함한 데이터가 더 효과적이다라는 걸 그 경험에서 배웠어요. 모델을 처음부터 훈련하는 비용과 기존 모델을 파인튜닝하는 비용 차이를 먼저 비교했어야 한다는 교훈도 함께 얻었습니다.

지금은 도메인 특화 모델이 필요할 때 처음부터 훈련하기 전에 기존 모델 파인튜닝으로 충분한지를 먼저 확인하는 단계를 씁니다. 처음부터 만드는 것이 항상 더 나은 결과를 보장하지 않는다는 원칙이 그 경험에서 나왔습니다.