예시 답변 1
약 90초
솔직한 경험 기반 접근
AI 서비스에서 데이터를 서빙하는 자리에서 가장 어려운 것은 학습 환경과 서빙 환경의 차이라고 배웠습니다. 학습 때는 배치로 처리되던 데이터가, 서빙 자리에서는 실시간 단건으로 들어오기 때문에 전처리 자리의 속도 기준이 완전히 달라집니다. 수업 캡스톤에서 텍스트 분류 모델을 API로 래핑할 때, 토크나이저 로드 비용이 요청마다 발생해서 응답이 느려지는 문제가 있었습니다.
초기화 자리를 서버 시작 시점으로 옮기고 공유 객체로 만들었더니 응답 속도가 크게 줄었습니다. 또 입력 데이터 형식이 예상과 다를 때 모델이 조용히 틀린 결과를 내는 자리도 있어서, 입력 검증 자리를 전처리 앞에 두는 것이 중요하다는 것도 경험했습니다.
이 결의 특징
학습 환경과 서빙 환경의 차이를 전처리 속도 기준에서 설명하고, 토크나이저 초기화 위치 변경으로 응답 속도를 개선한 구체적 사례가 이 결의 핵심입니다.
이 결이 통하는 자리
ML 엔지니어·데이터 엔지니어 면접에서 'AI 서비스 데이터 서빙의 어려움'을 물을 때 잘 작동합니다. 학습과 서빙의 차이를 개념이 아닌 경험으로 아는 지원자인지 확인하고 싶은 면접관이 멈추는 결입니다.