AI를 사용해 캠페인 성과 데이터 분석을 진행한 경험이 있다면, 그 과정과 결과를 설명해 주세요.

모델 성능에는 자신 있었는데 처음으로 FastAPI로 예측 엔진을 서빙하는 역할을 맡았을 때 완전히 다른 문제들이 나타났어요. 모델 로딩 시간이 느려 첫 요청이 30초 이상 걸렸고, 메모리에 모델을 올려두는 방식이 잘못돼 동시 요청에서 예외가 발생했습니다. 모델이 잘 작동한다는 것과 서비스가 잘 작동한다는 것이 전혀 다른 문제라는 걸 그때 처음 느꼈어요.

모델을 startup 시점에 한 번만 로딩하고 인스턴스를 재사용하는 구조로 바꾸고, 동시 요청 처리를 위해 worker 수와 메모리 사용량을 함께 프로파일링했습니다. 응답 시간이 300ms 이하로 안정됐어요.

AI 모델을 프로덕션에 올리는 건 ML 문제가 아니라 소프트웨어 엔지니어링 문제라는 걸 그 경험에서 배웠습니다. 서빙 아키텍처를 모델 설계와 함께 초반부터 고민하는 습관이 그때 생겼어요.