A
약 85초
모델 추론 최적화 기술 경험 - 양자화와 배치 처리 중심 서술
인턴 프로젝트에서 딥러닝 모델을 엣지 디바이스에 올리는 작업을 했습니다. 서버에서 잘 돌아가던 모델이 디바이스에서 레이턴시가 600ms 이상 나와 실시간으로 쓰기 어려운 상황이었습니다. 첫 번째로 시도한 건 INT8 양자화였습니다. PyTorch의 post-training quantization을 적용했고, 정확도 손실이 1% 미만인 상태에서 추론 속도가 약 2.3배 빨라졌습니다. 두 번째는 ONNX로 모델을 변환해 런타임 최적화를 적용하는 것이었는데, 불필요한 연산 노드를 제거하고 배치 처리 구조로 바꾸니 추론 시간이 200ms 아래로 줄었습니다. 최종적으로 TensorRT로 엔진을 빌드해 목표였던 150ms 이하를 달성했습니다. 이 과정에서 최적화는 단계적으로 가면서 각 단계에서 정확도와 속도의 트레이드오프를 확인하는 것이 핵심이라는 걸 배웠습니다.
이 결의 특징
레이턴시 600ms에서 INT8 양자화·ONNX 변환·TensorRT 빌드를 단계적으로 적용해 150ms 이하를 달성한 흔적이 있습니다. 각 단계에서 정확도와 속도의 트레이드오프를 확인한 결이 담겨 있습니다.
이 결이 통하는 자리
레이턴시 수치가 단계별로 줄어드는 과정이 구체적으로 살아 있을 때 통합니다. 단일 기술이 아니라 단계적 접근을 보여주는 자리에서 면접관의 신뢰가 쌓이는 결이 보입니다.