트랜스포머 기반 모델이나 대조 학습을 사용한 프로젝트 경험이 있나요? 구체적인 사례를 들어주세요.

졸업 논문 프로젝트에서 BERT 기반 문장 임베딩을 활용해 기술 문서 분류 모델을 만든 경험이 있습니다. 사전 학습된 BERT를 파인튜닝해서 도메인 특화 레이블로 분류 레이어를 추가하는 방식으로 진행했습니다. 대조 학습은 별도 프로젝트에서 유사 질문 쌍과 비유사 쌍을 구성해 SimCSE 방식으로 문장 유사도를 학습한 경험이 있습니다. 학습 데이터가 적을 때 사전 학습 모델의 임베딩 품질이 분류 성능에 크게 영향을 준다는 걸 그때 확인했고, 데이터 증강보다 임베딩 품질을 먼저 검토하는 순서가 맞는다는 걸 배웠습니다. 앞으로도 사전 학습 모델 선택 → 파인튜닝 범위 결정 → 데이터 품질 검토 순서로 NLP 프로젝트에 접근하겠습니다. 앞으로도 사전 학습 모델 선택 → 파인튜닝 범위 결정 → 데이터 품질 검토 순서로 NLP 프로젝트에 접근하겠습니다.

데이터 증강보다 임베딩 품질을 먼저 검토하는 것이 성능 병목을 빠르게 찾는 방법입니다. 대조 학습에서 부정 샘플 구성 방식이 표현 품질에 가장 큰 영향을 준다는 걸 직접 확인했습니다.