NLP 연구실 학부 연구생 1년 4개월로 한국어 의료 BERT 성능을 +10%p 끌어올린 답변
약 90초
주제(한국어 의료 BERT 격차) → 역할(코퍼스 정제·3모델 비교) → 기술(HF·MLM 50K) → 결과·학습(정제 결 우선)
학부 3학년 여름방학부터 4학년 마지막 학기까지 자연어처리(NLP) 연구실에서 학부 연구생으로 1년 4개월 활동했습니다. 본인이 맡은 결은 한 갈래로 좁혀서, '한국어 의료 도메인 사전 학습 모델의 성능 분석 + 개선 실험'이었습니다.
주제 선택 이유 쪽으로는, '영어권에 비해 한국어 의료 텍스트에서 BERT 계열 모델의 성능이 평균 7~12%p 낮은 결'이 본인이 처음 본 문제였습니다. 그 자리가 본인이 닿을 수 있는 자리로 보였습니다.
역할 쪽으로는, 본인이 맡은 결은 두 가지였습니다. 첫째, '의료 도메인 사전 학습 코퍼스 정제·중복 제거 파이프라인 구축'. 둘째, 'KoBERT vs KoBioBERT vs 본인이 추가 학습한 모델 3개의 다운스트림 태스크(NER·QA·분류) 성능 비교'.
기술·방법론 쪽으로는, HuggingFace transformers·PyTorch·Weights & Biases·구글 클라우드 V100 8장을 사용했고, MLM(Masked Language Modeling) 추가 사전 학습 50K step·F1·EM·BLEU 지표 측정으로 결을 닫았습니다.
연구 결과 쪽으로는, 의료 도메인 NER에서 기존 KoBERT F1 0.71 → 본인 모델 F1 0.81 (+10%p), 의료 QA에서 EM 0.42 → 0.49 결로 닫혔습니다. 학회 학부 논문 트랙에 제출해 우수 발표상까지 받았습니다.
가장 큰 학습은 '사전 학습은 데이터 정제의 결이 학습 양보다 큰 결정 자리'라는 점이었습니다.