대규모 트래픽 환경에서 모델 서빙 병목(지연/처리량/비용)은 무엇부터 측정하나요?

대규모 트래픽 환경에서 모델 서빙 병목을 진단할 때 가장 먼저 보는 건 지연(latency) 분포입니다. 평균 지연보다 P95·P99 지연이 얼마나 튀는지가 실사용자 경험에서 더 중요한 지표입니다. 지연 원인은 모델 추론 시간 자체, 전처리/후처리 파이프라인, 큐 대기 시간 세 구간으로 나눠 분석합니다. 처리량 측면에서는 GPU/CPU 활용률이 낮으면 배치 처리를 늘리거나 동적 배치(dynamic batching)를 검토하고, 활용률이 이미 높으면 모델 경량화(quantization·pruning)나 스케일 아웃을 고려합니다. 비용 측면에서는 트래픽 패턴이 명확하면 오토스케일링 기준을 조정해 유휴 자원을 줄이는 것이 가장 빠른 절감 방법입니다.

서빙 최적화는 병목 구간을 먼저 수치로 특정하는 것에서 시작합니다. 앞으로도 P95·P99 지연 분포를 먼저 확인하고 구간별 병목을 수치로 특정하는 방식을 유지하겠습니다. 동적 배치와 모델 경량화는 병목 구간을 특정한 후에 선택하는 최적화 수단입니다. 오토스케일링 기준을 트래픽 패턴에 맞게 조정하는 것이 비용과 성능을 함께 개선하는 핵심 레버입니다.