예시 답변 1
약 98초
AI 모델을 실제 서비스 가능한 형태로 배포한 경험을 단계적으로 푸는 결
졸업 프로젝트에서 텍스트 분류 모델을 개발해 간단한 웹 서비스로 배포한 경험이 있습니다. 처음에는 모델 성능에 집중했는데, 배포 단계에 가서야 실제로 쓸 수 있는 형태로 만드는 것이 전혀 다른 문제라는 걸 알았습니다. 추론 속도가 로컬에서는 빠른데 서버에 올리면 느려지는 문제가 있었고, ONNX로 변환하고 배치 사이즈를 조정해서 응답 시간을 2.1초에서 0.4초로 줄였습니다. 저는 팀에서 모델 학습과 배포 파이프라인 연결 부분을 맡았습니다.
FastAPI로 추론 서버를 만들고, Docker로 패키징해서 클라우드 인스턴스에 올리는 방식으로 구성했습니다. 개념 단계에서 가장 어려웠던 건 '어떤 문제를 AI로 풀어야 하는가'를 정의하는 것이었고, 생산 단계에서 어려웠던 건 모델이 예상과 다르게 동작하는 케이스를 처리하는 것이었습니다. 그 경험으로 AI 제품은 학습 이후가 더 손이 많이 간다는 걸 배웠습니다.
이 결의 특징
졸업 프로젝트에서 텍스트 분류 모델을 개발한 뒤 배포 단계에서 추론 속도 2.1초를 0.4초로 줄인 경험이 있습니다. ONNX 변환과 배치 사이즈 조정이라는 구체 기법이 동원되었습니다.
이 결이 통하는 자리
개념 단계의 어려움과 생산 단계의 어려움을 구분해서 말했을 때 통합니다. 모델 학습 이후가 더 손이 많이 간다는 학습이 있을 때 면접관의 현실감이 높아지는 결이 보입니다.