예시 답변 1
약 90초
ML 서비스 지연 문제 — 추론 최적화 + 비동기 처리 설계
대규모 트래픽 환경에서 ML 서비스를 개발할 때 가장 큰 도전은 모델 추론 지연이 API 전체 응답 시간에 직접 영향을 주는 것이었습니다. 모델 정확도는 높지만 추론 시간이 200ms를 넘어 서비스 SLA를 위반하는 문제가 있었습니다. 해결 방법으로 모델을 ONNX로 변환해 CPU 추론 속도를 개선하고, 자주 요청되는 입력에 대한 결과 캐싱을 추가했습니다. 또한 동기 추론이 필요한 요청과 비동기로 처리 가능한 요청을 분리해, 트래픽 피크 시에도 핵심 경로의 응답 시간을 보장하는 구조를 설계했습니다. 기술 스택은 FastAPI + Redis + Celery를 조합해 실시간·비동기 경로를 분리했습니다.
인사이트 면에서는, 모델 성능과 서비스 성능은 별개이고 서비스 환경에 맞는 추론 최적화가 ML 엔지니어링의 핵심 역량이라는 걸 배웠습니다.
이 결의 특징
200ms 초과 지연이라는 구체적 문제 정의가 첫 문장에 등장하고, ONNX 변환·결과 캐싱·비동기 분리라는 세 가지 해결 경로가 순서대로 따릅니다. 모델 성능과 서비스 성능은 별개라는 인사이트가 마무리를 차지해, 기술 선택의 이유를 설명하는 흐름이 완결됩니다. 문제-원인-해결-교훈이 밀도 있게 이어져 꼬리질문이 줄어드는 결이 자주 보입니다.
면접관이 다음에 할 행동
FastAPI+Redis+Celery 조합이 언급됐을 때 면접관이 '실시간·비동기 경로를 나누는 기준은 무엇이었는가'를 파고들 가능성이 높습니다. 사용자가 기다릴 수 있는 맥락과 없는 맥락을 어떻게 판단했는지를 갖추고 있으면 기술 스택 선택 이유가 더 분명해지는 흐름이 나타납니다.