모델 서빙 환경 구축 경험이 있다면, 어떤 방식으로 접근했는지 설명해 주세요.

GPU 서버 없이 CPU 환경만으로 딥러닝 추론 서비스를 운영해야 하는 상황에 처음 맞닥뜨렸어요. 기존에 GPU 서버에서 쓰던 서빙 방식을 그대로 배포했더니, 응답 지연이 서비스 요구 사항의 10배를 넘어 실제 운영이 불가능한 수준이었습니다.

CPU 서빙 최적화는 모델 경량화, 추론 배치 처리, ONNX 변환 등 여러 접근이 있고 각각이 다른 레이턴시·처리량 트레이드오프를 만든다는 걸 그 경험에서 배웠어요. 모델 정확도보다 레이턴시 요구 사항이 우선인 서빙 환경에서는 경량화 전략을 먼저 결정하고 그에 맞는 변환 방법을 선택해야 한다는 걸 알았습니다.

지금은 서빙 환경과 레이턴시 요구 사항을 먼저 파악하고, 그에 맞는 모델 변환 전략(ONNX, 양자화, 배치 처리 등)을 선택하는 순서로 접근합니다. 하드웨어 제약이 서빙 아키텍처 선택의 출발점이 된다는 원칙이 그 경험에서 나왔습니다.