이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
졸업 프로젝트에서 AI 모델을 백엔드 서비스로 연결하는 구조를 처음 설계해봤습니다. 모델 서빙에서는 FastAPI로 추론 엔드포인트를 만들고, 무거운 모델 로딩을 서버 시작 시 한 번만 하는 방식으로 요청 레이턴시를 줄였습니다. 전처리 단계를 API 안에 함께 두면 로직이 복잡해진다는 걸 경험하고, 전처리를 별도 레이어로 분리해서 모델 교체 시 수정 범위를 줄였습니다. 자주 요청되는 입력에 대해서는 응답 캐싱을 적용해서 같은 질문을 여러 번 추론하는 비용을 줄였습니다. 관측 측면에서는 추론 시간과 토큰 사용량을 요청마다 로그로 남겨서 어떤 입력이 병목인지 파악할 수 있게 했습니다. AI 백엔드는 일반 API와 달리 추론 비용과 레이턴시가 입력 내용에 따라 크게 달라지기 때문에 관측 설계가 더 중요하다는 걸 배웠습니다.
졸업 프로젝트에서 AI 모델 서빙 서버를 처음 운영하면서 예상치 못한 OOM 오류를 마주쳤습니다. 추론 요청이 동시에 10개 이상 들어오면 메모리가 부족해 서버가 꺼졌습니다. 처음에는 서버 메모리를 늘리면 된다고 봤는데, 근본 원인은 요청마다 모델을 새로 로딩하는 방식이었습니다.
모델을 프로세스 시작 시 한 번만 로딩해 메모리에 유지하고, 동시 추론 요청은 큐로 처리하는 방식으로 바꿨습니다. 처리량은 줄었지만 OOM이 사라졌고, 배치 추론을 추가하자 처리 효율도 올랐습니다. 모델 서빙에서 메모리 생애주기를 미리 설계하지 않으면 트래픽이 조금만 몰려도 장애가 난다는 걸 이 경험으로 배웠습니다.
인턴 프로젝트에서 AI 추론 API의 응답이 평균 2초가 걸려서 느리다는 피드백이 왔습니다. 처음에는 모델 자체가 느리다고 봤는데, 막연히 모델을 가볍게 바꾸는 방향으로 접근하면 시간이 오래 걸릴 것 같아 먼저 어디서 시간이 걸리는지를 측정하기로 했습니다. 각 단계에 타임스탬프를 찍어보니 전처리 단계가 1.3초로 전체의 65%를 차지했습니다. 전처리 과정에서 이미지 리사이즈를 CPU로 반복 처리하는 게 병목이었습니다. 배치 처리와 라이브러리 전환으로 전처리를 0.2초로 줄이자 전체 응답이 0.8초로 줄었습니다.
최적화는 측정 없이 시작하면 엉뚱한 곳에 시간을 쏟는다는 걸 이 경험으로 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 111퍼센트 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.