A
약 80초
경험 중심 1인칭 답변
모델 경량화 프로젝트에서 양자화(INT8)와 프루닝을 함께 적용해 모델 크기를 60% 줄인 경험이 있습니다. 처음에는 정확도 하락이 걱정됐는데, 레이어별 민감도 분석으로 중요 레이어는 보존하고 나머지를 줄이는 방식으로 정확도 손실을 1.2% 이내로 제한했습니다. 서빙 아키텍처로는 TorchServe를 써봤는데, 배치 사이즈 조정이 지연 시간과 처리량 사이의 트레이드오프를 결정한다는 점을 실험으로 확인했습니다. 온디바이스 추론을 목표로 할 때는 ONNX 변환 후 모바일 환경 테스트를 반드시 별도로 거치는 게 필요하다는 것도 직접 겪었습니다. 앞으로도 경량화는 목표 디바이스와 지연 시간 요구를 먼저 정하고 기법을 고르는 방식을 유지하겠습니다. 앞으로도 모델 서빙 설계에서 목표 디바이스와 지연 요구를 먼저 정하고 경량화 기법을 고르는 방식을 유지하겠습니다.
INT8 양자화와 프루닝은 각각 장단이 달라 조합이 중요합니다. 배치 사이즈는 지연과 처리량 사이의 트레이드오프를 실험으로 확인해야 최적점을 찾을 수 있습니다.