병목 파악 결 → 기법 선택 결 → 적용 결 → 검증 결
딥러닝 모델 최적화를 직접 경험한 자리는 학과 프로젝트에서 이미지 분류 모델의 추론 속도가 너무 느려 실시간 서비스에 맞지 않는 문제를 해결할 때였습니다. 병목 파악 자리에서는 프로파일링을 통해 전처리보다 모델 추론 자체에서 병목이 생기고 있음을 확인했습니다. 기법 선택 자리에서는 정확도 손실이 적은 INT8 양자화를 먼저 적용하기로 했습니다. 양자화와 가지치기를 비교했을 때 초기 적용 비용이 낮은 방법으로 시작하는 게 맞다고 판단했습니다. 적용 자리에서는 학습 후 양자화를 적용했을 때 모델 크기가 약 75% 줄었고, 정확도 손실은 1% 미만이었습니다. 검증 자리에서는 CPU 기준 추론 속도가 약 2.5배 빨라진 결과를 얻었습니다.
최적화는 병목을 확인하지 않고 시작하면 효과 없는 자리에 시간을 쓰게 됩니다.