예시 답변 1
약 74초
트래픽 패턴과 모델 종류를 기준으로 서빙 도구를 선택하고 한계를 함께 확인한 결
PyTorch 기반 모델을 서빙할 때 TorchServe를 선택한 이유는 배치 추론 지원과 PyTorch 생태계 호환성 때문이었습니다. ONNX Runtime도 검토했는데, 모델 변환 과정에서 커스텀 레이어가 있으면 수동 처리가 필요해서 당시 팀 상황에서 변환 비용이 컸습니다. TorchServe는 multi-model serving과 롤링 업데이트를 지원해서 모델 교체 시 다운타임 없이 버전 전환이 가능했습니다. 다만 트래픽이 10 RPS를 넘어가면 워커 수 조정만으로 처리량이 선형으로 늘지 않는다는 점을 확인했고, 프로덕션 환경에서는 Triton 전환을 검토 중입니다. 도구 선택은 지금 상황에서 유지비가 가장 낮은 것을 고르는 일이라는 걸 직접 겪었습니다.
이 결의 특징
TorchServe를 선택할 때 ONNX Runtime과 비교해 커스텀 레이어 변환 비용이 크다는 판단으로 선택한 자리가 보입니다. 멀티 모델 서빙과 롤링 업데이트 지원이 실제 필요와 닿았던 흔적이 드러나는 결입니다.
이 결이 통하는 자리
모델 서빙 도구 선택 경험을 묻는 자리에서 대안 비교와 선택 기준이 명확한 답이 통합니다. 10 RPS 초과 시 처리량 한계를 확인하고 Triton 전환을 검토 중이라는 흔적이 있는 자리에서 운영 감각을 전달하는 결이 자주 보입니다.