당신이 경험한 머신러닝 모델 배포 시스템의 예시와 그 과정에서 겪었던 어려움은 무엇이었나요?

학부 연구 프로젝트에서 텍스트 분류 모델을 `FastAPI`로 감싸 서빙하는 형태로 배포해본 경험이 있습니다. 로컬에서 잘 돌던 모델이 서버 환경에서 예상치 못한 라이브러리 버전 충돌로 오류를 내는 문제가 첫 번째 어려움이었습니다. 그때 Docker로 환경을 컨테이너화하는 방식을 처음 도입했는데, 로컬과 서버 환경을 동일하게 유지하는 것이 재현성 문제의 대부분을 해결해줬습니다. 두 번째 어려움은 모델 응답 시간이 너무 길어서 실제 요청에서 타임아웃이 나는 것이었는데, 입력 배치 처리로 처리량을 높이고 모델 양자화를 적용해 응답 시간을 절반 이하로 줄였습니다.

배포는 모델 만드는 것보다 훨씬 엔지니어링적인 작업이라는 걸 그때 처음 실감했습니다. 실시간 입력 분포가 학습 데이터와 달라지기 시작하면 모델 성능이 조용히 떨어지는 경우가 있어서, 기본 성능 지표를 주기적으로 확인하는 파이프라인도 함께 만들었습니다.