기술 장점 정리+실제 사용 경험 연결로 푸는 결
트랜스포머 기반 모델의 가장 큰 장점은 문맥 전체를 한 번에 처리할 수 있다는 점이라고 생각합니다. RNN 계열은 앞에서 뒤로 순서대로 처리하다 보니 긴 문장에서 앞 정보가 희석되는 문제가 있었는데, Attention 구조는 어느 위치든 직접 참조할 수 있습니다. 저는 감정 분류 과제에서 BERT 기반 모델을 fine-tuning해본 경험이 있으며, 같은 데이터로 TF-IDF+SVM 조합과 비교했을 때 정확도가 8%p 높았습니다. 대형 언어 모델은 이 구조를 더 크게 키운 것이므로, 다양한 태스크에 적응하는 범용성이 강점이라고 이해하고 있습니다. 직접 대규모 모델을 학습시켜본 경험은 없지만, 이 구조를 이해한 것이 이후 실험 설계에도 영향을 주었습니다.