Kubernetes 또는 Docker를 사용하여 대규모 ML 서빙 아키텍처를 설계한 경험이 있나요? 구체적인 예를 들어주세요.

학과 ML 프로젝트에서 Docker 컨테이너로 모델 서빙 환경을 패키징하면서, 로컬과 서버 환경 불일치 문제가 없어진다는 것을 처음으로 경험했습니다. Kubernetes를 사용해보면서 여러 서빙 인스턴스가 동시에 뜨는 구조에서 HPA 설정으로 트래픽에 따라 자동 확장이 되는 개념을 이해했습니다.

하나의 모델 버전을 롤링 업데이트로 교체하면 서비스 중단 없이 새 모델로 전환할 수 있다는 것도 알았습니다. ML 서빙에서 응답 시간이 일정 이상 높아지면 배치 크기 조정이나 캐싱이 필요하다는 관측 지표를 먼저 정의하는 것이 중요하다는 걸 배웠습니다.

Prometheus와 Grafana를 연결해 서빙 지연과 오류율을 모니터링하는 실험을 해봤습니다. ML 서빙은 모델 정확도만큼이나 운영 안정성이 사용자 경험을 결정한다는 걸 그때 배웠습니다. 이후 저는 ML 시스템을 설계할 때 관측 가능성을 먼저 고려하는 습관이 생겼습니다.