딥러닝 모델 최적화에 대한 본인의 경험이나 기술에 대해 설명해 주세요.

모델 최적화 자리에서 정확도를 얼마나 양보할 수 있는지를 결정하는 자리가 가장 어려운 자리였습니다. 속도를 높이기 위해 양자화를 적용했을 때 정확도가 2%p 떨어지는 자리가 생겼습니다. 운영 환경에서 2%p 손실이 허용 가능한지 아닌지를 혼자 판단하는 자리가 됐는데, 기준이 없는 자리에서의 결정이 가장 불안한 자리였습니다.

서비스에서 허용 가능한 정확도 하한을 먼저 정하지 않고 최적화를 시작한 것이 문제였습니다. 이후에는 최적화 전에 허용 정확도 범위와 목표 추론 시간을 먼저 합의하는 자리를 만들었고, 그 기준 안에서 최적화 방법을 선택하는 순서로 바꿨습니다. 최적화는 성능 올리기가 아니라 트레이드오프 결정 자리임을 알게 됐고, 정확도와 속도를 분리해서 보는 결이 운영 결의 시작임을 배웠습니다. 그 결이 이후 모델 최적화 시 기준 먼저 정하는 자리로 이어졌습니다.