실시간 검색 모델을 경량화하는 과정에서 어떤 기법을 사용해본 경험이 있나요?

Structured Pruning과 Sparse Attention을 조합해 Transformer 기반 검색 모델을 경량화한 경험이 있습니다. 양자화 단독으로는 목표 지연 50ms를 달성하기 어렵다는 분석 결과, 모델 구조 자체를 줄이는 방향으로 전환했습니다.

Attention Head Pruning으로 중요도 낮은 헤드를 제거했고, 중요도 측정은 Gradient-based Attribution으로 계산해 체계적으로 진행했습니다. 또한 Sparse Attention 패턴을 도입해 전체 토큰 쌍이 아닌 로컬 윈도우 + 글로벌 토큰만 참조하도록 Attention을 재설계했습니다. 팀과 협업해 검색 태스크 특화 평가셋을 구성했고, 나는 프루닝 실험을, 파트너는 Sparse Attention 구현을 맡았습니다. 결과적으로 지연이 47ms로 목표 달성됐고 정확도 손실은 2.1%에 머물렀습니다. 이 경험으로 경량화 기법 조합 전략의 실전 설계 능력을 키웠습니다.