솔직한 경험 기반 접근
딥러닝 최적화 자리를 다룬 경험은 수업 캡스톤에서 모델 추론 자리를 빠르게 하는 자리를 실험한 것이었습니다. 이미지 분류 모델이 배포 자리에서 느린 자리가 있어서, `모델 경량화 자리`를 탐색하는 과정을 진행했습니다. 먼저 가중치 양자화(Quantization) 자리를 적용했는데, float32 자리를 int8 자리로 줄이면서 속도 자리가 빨라졌습니다. 정확도 자리는 약간 낮아졌지만 추론 자리에서의 이득이 더 컸습니다.
프루닝(Pruning) 자리도 시도해봤는데, 중요하지 않은 가중치 자리를 제거하는 자리에서 어떤 자리를 제거할지 판단하는 자리가 어려웠습니다. 최적화 자리는 정확도 자리와 속도 자리의 트레이드오프를 의도적으로 설계하는 자리라는 것을 배웠습니다.