ML/DL 모델의 서빙 및 모니터링 과정에서 어떤 경험이 있으신가요?

ML 모델 서빙·모니터링 경험은 개인 프로젝트에서 FastAPI로 추론 서버를 구성하고 운영한 것에서 왔습니다. 서빙 구조 자리에서는 학습된 모델을 Pickle 또는 ONNX 형태로 저장하고, 추론 요청마다 전처리→추론→후처리를 거치는 단순 구조를 썼습니다. 모니터링 지표 자리에서는 응답 시간과 요청 성공률을 로그로 남기고, Grafana로 시각화했습니다.

지표 없이 운영하다가 이상이 생겼을 때 원인을 찾는 데 너무 오래 걸린 경험이 이 구조를 만든 계기였습니다. 이슈 대응 자리에서는 트래픽이 급격히 늘어날 때 응답 지연이 발생했고, 배치 추론 방식으로 전환하고 모델 경량화를 적용해서 개선했습니다. 교훈 자리에서는 서빙은 모델 성능만으로 결정되지 않고, 인프라 설계와 모니터링 체계가 함께 갖춰져야 안정적으로 운영됩니다. 이 경험이 서빙의 실체를 처음으로 이해한 자리였습니다.