모델 아키텍처나 학습 알고리즘이 LLM의 표현력에 미치는 영향을 어떻게 이해하고 있나요?

LLM의 표현력은 모델 크기(파라미터 수)와 어텐션 메커니즘의 구조에 크게 의존한다고 이해합니다. Transformer 기반 모델은 어텐션 레이어가 문맥 의존성을 포착하는 방식을 학습하는데, 레이어가 깊어질수록 더 추상적인 표현을 다룰 수 있습니다. 학습 알고리즘 측면에서는 사전학습 데이터 품질과 다양성이 파인튜닝 전 기반 표현력에 결정적입니다. 수업에서 소규모 GPT 구현 실험을 하면서, 레이어 수를 늘리면 손실이 줄지만 특정 지점을 넘으면 과적합이 빠르게 온다는 걸 직접 봤습니다.