이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
졸업 프로젝트에서 이미지 분류 모델을 서빙할 때 추론 속도가 너무 느려 실시간 사용이 어려운 문제가 있었습니다. 먼저 모델 양자화(INT8)를 적용해 모델 크기를 절반으로 줄이고 추론 속도를 2배 이상 높였습니다. 정확도 손실이 우려됐는데, 검증 세트에서 1% 이내의 감소로 허용 가능한 수준이었습니다. 그다음엔 TorchScript로 모델을 직렬화해 Python 오버헤드를 줄이고, 배치 인퍼런스를 적용해 처리량을 높였습니다. 이 경험에서 실시간 서빙은 모델 성능뿐 아니라 배포 최적화가 함께 설계돼야 한다는 걸 배웠습니다.
실시간 서빙은 모델 성능과 배포 최적화가 함께 설계돼야 하며, 양자화와 배치 처리가 그 핵심 도구임을 이 경험에서 배웠습니다.
딥러닝 모델 서빙 최적화 경험으로 TensorRT를 적용해서 GPU 추론 속도를 높인 작업이 있습니다. PyTorch 모델을 TensorRT 엔진으로 변환하면 그래프 최적화와 레이어 융합(layer fusion)으로 추론 시 불필요한 연산이 줄어들어 같은 GPU에서 처리 속도가 크게 향상됩니다. 변환 과정에서 FP16 정밀도를 선택했는데, 정확도 손실이 최소화되면서 처리량이 기존보다 약 2.5배 향상됐습니다.
주의할 점은 TensorRT 변환 시 입력 텐서 형상을 고정해야 하기 때문에, 다양한 입력 크기가 필요한 경우 여러 엔진을 준비하거나 동적 형상 옵션을 써야 합니다. 이 최적화로 배치 처리를 병행하면서 실시간 응답 요건도 충족할 수 있었습니다. TensorRT가 GPU 추론을 최대화합니다.
그래프 최적화가 같은 자원에서 더 많은 처리를 가능하게 합니다. 변환 전후 비교 검증이 최적화의 완성입니다.
딥러닝 서빙 최적화에서 지식 증류(Knowledge Distillation)를 적용해 큰 모델의 성능을 작은 모델로 전달한 경험이 있습니다. 원본 모델은 높은 정확도를 가지지만 추론 속도가 서빙 요건에 맞지 않았습니다. 교사 모델의 소프트 레이블을 학습 신호로 활용해서 더 작은 학생 모델을 훈련했더니, 원본 모델 대비 크기는 70% 줄었지만 정확도는 2% 차이 이내로 유지됐습니다. 추론 속도는 3배 이상 빨라져서 실시간 서빙 요건을 충족했습니다.
이 방식은 양자화와 달리 모델 구조 자체를 바꾸기 때문에 특정 하드웨어에 의존하지 않는 장점이 있습니다. 작은 모델이 운영 효율을 만듭니다. 성능과 속도의 균형이 서빙 최적화의 목표입니다. 지식 증류가 경량화의 강력한 대안입니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 당근마켓 ML 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.