예시 답변 1
약 90초
LLM 아키텍처와 표현력의 관계를 학습한 내용 기반으로 설명하는 결
LLM의 표현력은 모델 크기(파라미터 수)와 어텐션 메커니즘의 구조에 크게 의존한다고 이해합니다. Transformer 기반 모델은 어텐션 레이어가 문맥 의존성을 포착하는 방식을 학습하는데, 레이어가 깊어질수록 더 추상적인 표현을 다룰 수 있습니다. 학습 알고리즘 측면에서는 사전학습 데이터 품질과 다양성이 파인튜닝 전 기반 표현력에 결정적입니다. 수업에서 소규모 GPT 구현 실험을 하면서, 레이어 수를 늘리면 손실이 줄지만 특정 지점을 넘으면 과적합이 빠르게 온다는 걸 직접 봤습니다.
이 결의 특징
Transformer 어텐션 메커니즘이 문맥 의존성을 포착하는 방식과 레이어 깊이의 관계를 이해하고, 수업 실험에서 레이어 증가가 손실을 줄이지만 특정 지점 이후 과적합이 빠르게 온다는 직접 확인한 흔적이 있습니다. 모델 구조의 이론과 실험을 연결한 자리에서 기술 이해도가 드러납니다.
이 결이 통하는 자리
파라미터 수·어텐션 구조·사전학습 데이터 품질이라는 세 가지 요소가 모두 언급되고, 손실 vs 과적합의 트레이드오프가 구체적 경험으로 뒷받침될 때 통합니다. LLM 표현력의 한계를 인정하면서도 원리를 이해했다는 신호가 있을 때 면접관이 깊이 있는 재질문을 하지 않는 결이 보입니다.