솔직한 경험 기반 접근
FastAPI로 AI 모델을 API로 감싸는 자리에서 가장 기억에 남는 경험은 응답 지연 문제를 해결한 자리입니다. 텍스트 분류 모델을 POST /predict 엔드포인트로 감쌌는데, 요청마다 모델 파일을 다시 로드하는 자리가 있어서 응답이 3~4초씩 걸렸습니다.
모델을 앱 시작 시점에 한 번만 로드해 전역 객체로 두는 방식으로 바꿨더니 응답이 0.2초 이하로 줄었습니다. lifespan 핸들러를 써서 startup 자리에서 모델을 초기화하는 패턴을 그때 배웠습니다. 또 입력 검증을 Pydantic 모델로 처리하면 잘못된 형식의 요청을 자리에서 바로 걸러낼 수 있다는 것도 경험했습니다. API 개발은 모델 성능만큼 서빙 자리의 안정성과 속도가 실사용자 경험에 직접 닿는다는 것을 그때 실감했습니다.