AI 모델 백엔드 아키텍처 설계
약 70초
모델 로딩 최적화 + 전처리 레이어 분리 + 응답 캐싱 + 추론 로그 관측 경험
졸업 프로젝트에서 AI 모델을 백엔드 서비스로 연결하는 구조를 처음 설계해봤습니다. 모델 서빙에서는 FastAPI로 추론 엔드포인트를 만들고, 무거운 모델 로딩을 서버 시작 시 한 번만 하는 방식으로 요청 레이턴시를 줄였습니다. 전처리 단계를 API 안에 함께 두면 로직이 복잡해진다는 걸 경험하고, 전처리를 별도 레이어로 분리해서 모델 교체 시 수정 범위를 줄였습니다. 자주 요청되는 입력에 대해서는 응답 캐싱을 적용해서 같은 질문을 여러 번 추론하는 비용을 줄였습니다. 관측 측면에서는 추론 시간과 토큰 사용량을 요청마다 로그로 남겨서 어떤 입력이 병목인지 파악할 수 있게 했습니다. AI 백엔드는 일반 API와 달리 추론 비용과 레이턴시가 입력 내용에 따라 크게 달라지기 때문에 관측 설계가 더 중요하다는 걸 배웠습니다.
이 결의 특징
무거운 모델 로딩을 서버 시작 시 한 번만 하는 방식이라는 구체적 기술을 직접 경험하고 그 과정에서 배움을 얻은 흔적이 드러납니다.
이 결이 통하는 자리
구체적인 도구나 기술 이름과 함께 그것을 왜 배웠는지 과정이 있을 때 실제 경험으로 인정받는 자리입니다.