AI 활용에 대한 관심이 어느 정도인지, 이를 통해 어떤 운영 효율화를 생각해 보았는지 이야기해 주세요.

모델 성능에는 자신 있었는데 처음으로 FastAPI로 예측 엔진을 서빙하는 역할을 맡았을 때 완전히 다른 문제들이 나타났어요. 모델 로딩 시간이 느려 첫 요청이 30초 이상 걸렸고, 메모리에 모델을 올려두는 방식이 잘못돼 동시 요청에서 예외가 발생했습니다. 모델이 잘 작동한다는 것과 서비스가 잘 작동한다는 것이 전혀 다른 문제라는 걸 그때 처음 느꼈어요.

모델을 startup 시점에 한 번만 로딩하고 인스턴스를 재사용하는 구조로 바꾸고, 동시 요청 처리를 위해 worker 수와 메모리 사용량을 함께 프로파일링했습니다. 응답 시간이 300ms 이하로 안정됐어요.

AI 모델을 프로덕션에 올리는 건 ML 문제가 아니라 소프트웨어 엔지니어링 문제라는 걸 그 경험에서 배웠습니다. 서빙 아키텍처를 모델 설계와 함께 초반부터 고민하는 습관이 그때 생겼어요.