예시 답변 1
약 90초
Knowledge Distillation으로 검색 모델 경량화
Knowledge Distillation을 활용해 실시간 검색 모델을 경량화한 경험이 있습니다. 대형 Teacher 모델의 추론 성능은 좋았지만 응답 지연이 200ms를 넘어 실시간 검색에 투입하기 어려웠습니다. Teacher 모델의 소프트 레이블(soft label)을 활용해 Small Student 모델을 학습했고, 중간 레이어 표현(intermediate representation)도 함께 증류해 지식 전달을 강화했습니다. 팀원과 함께 Teacher-Student 쌍 조합을 체계적으로 실험했고, 나는 손실 함수 설계를, 파트너는 평가 자동화를 담당했습니다.
결과로 모델 크기를 8배 줄이면서 검색 정확도는 3.2%p 손실에 그쳤고, 추론 속도는 6배 향상됐습니다. 문제 해결의 핵심은 경량화 목표(속도 vs 정확도)를 명확히 정의한 뒤 실험을 설계하는 것이었습니다. 이 경험으로 모델 압축 기법의 실전 적용 감각을 키웠습니다.
이 결의 특징
Teacher-Student 쌍 조합을 체계적으로 실험했고 역할을 나눠 손실 함수 설계와 평가 자동화를 분담했다는 협업 구조가 구체적으로 등장합니다. 소프트 레이블과 중간 레이어 표현을 함께 증류했다는 기술 선택이 단순 KD와 차별되는 흔적으로 남습니다. 모델 크기 8배 감소·정확도 3.2%p 손실이라는 트레이드오프 수치가 목표 정의와 연결됩니다.
면접관이 다음에 할 행동
중간 레이어 표현 증류를 언급했을 때 면접관이 '어떤 레이어의 표현을 증류 대상으로 삼았고, 그 선택 이유는 무엇인가'를 파고들 가능성이 있습니다. Attention 맵 또는 hidden state 중 어느 것을 기준으로 삼았는지와 증류 손실 가중치를 갖추고 있으면 기술 깊이가 드러납니다.