모델 배포를 지원하는 인퍼런스 인프라를 아키텍처할 때 어떤 설계 원칙을 따르시나요?

인퍼런스 인프라를 설계할 때 가장 먼저 생각하는 것은 지연 시간(latency) 요구사항과 처리량(throughput) 요구사항이 어느 비율로 중요한지입니다. 실시간 추천처럼 응답 속도가 핵심인 서비스와 배치 처리처럼 처리량이 핵심인 경우는 설계 방향이 다릅니다.

학부 졸업 프로젝트에서 텍스트 분류 모델을 Flask API로 감싸서 배포한 경험이 있는데, 처음엔 요청이 들어올 때마다 모델을 다시 로드하는 방식을 사용했습니다. 성능 측정을 해보니 응답 시간이 예상보다 훨씬 길었고, 모델을 서버 시작 시 한 번 로드해서 메모리에 유지하는 방식으로 바꾼 뒤 응답 시간이 크게 줄었습니다.

이 경험에서 배운 설계 원칙은 모델은 워밍업 상태를 유지해야 한다는 것입니다. 실무 수준에서는 여기에 추가로 요청 큐 관리, 모델 버전 관리, 롤백 전략까지 고려해야 한다는 걸 이후 공부하면서 알게 됐습니다.