실시간 ML 추론 서비스를 제공하기 위해 어떤 방법으로 시스템을 설계했는지 설명해 주세요.

졸업 프로젝트에서 사용자 행동 로그를 실시간으로 분석해 추천을 제공하는 서비스를 구축했습니다. 가장 큰 과제는 추론 지연을 사용자 경험에 영향이 없는 수준으로 낮추는 것이었습니다. FastAPI로 추론 서빙 서버를 만들고, 모델은 ONNX Runtime으로 변환해 CPU 추론 속도를 높였습니다. 처음에는 요청마다 모델을 불러오는 방식이라 응답 시간이 800ms를 넘었는데, 서버 시작 시 한 번만 로드하고 이후 요청에서 재사용하는 방식으로 바꿔 평균 120ms로 줄었습니다. 입력 전처리와 후처리를 비동기로 분리하는 구조도 함께 적용했습니다. 실시간 추론에서 모델 성능보다 서빙 구조가 UX에 더 직접적인 영향을 준다는 것을 이 경험에서 배웠습니다.