Triton, TorchServe, MentoML을 사용한 모델 서빙 경험에 대해 말씀해 주세요.

TorchServe로 모델 서빙을 처음 운영하면서 운영·관찰 자리가 없으면 배포 뒤 무슨 일이 일어나는지 볼 수 없는 자리임을 경험했습니다. 서빙 서버를 배포한 뒤 며칠이 지났는데, 요청이 증가하는 구간에서 응답 지연이 발생해도 관찰 자리가 전혀 없어서 사용자 피드백이 들어오고 나서야 아는 자리가 됐습니다. 배포 자리는 있는데 운영 중에 무슨 일이 있는지 볼 수 없는 자리였습니다. 이후에는 TorchServe의 /metrics 엔드포인트와 로그를 연결해 응답 지연·처리 오류율을 실시간으로 관찰하는 자리를 만들었고, 임계치를 넘으면 알림이 오는 자리를 배포와 함께 만들었습니다.

관찰 자리가 있어야 서빙이 안정적인 자리임을 알게 됐고, 배포로만 끝나는 서빙 자리는 운영 자리에서 취약한 자리가 됨을 배웠습니다. 그 결이 이후 모델 서빙 자리에서 운영·관찰 자리를 배포 시점부터 함께 두는 결로 이어졌습니다.