우문현답
愚 問 賢 答
회사별 면접직군별진행 방식
    홈›회사별›토스›ML 엔지니어›질문 상세
    問
    토토스ML 엔지니어경험·이력2026년 출제

    SOTA VLM/OCR 모델을 적용하고 평가한 경험에 대해 말씀해 주세요.

    답변 미리보기

    SOTA OCR 모델로 PaddleOCR과 Tesseract를 비교 평가한 경험이 있습니다. 두 모델의 특성으로 PaddleOCR은 딥러닝 기반으로 복잡한…

    예상 답변 시간
    60~90초
    예상 꼬리질문
    3회
    난이도
    난이도 중상
    출제 빈도
    높음
    INTERVIEWER'S INTENT · 면접관의 의도

    이 질문, 네 갈래로 뜯어봅니다.

    면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.

    問
    01
    SOTA VLM/OCR 모델을 아는가?
    SOTA VLM/OCR 모델에 대한 이해가 답에 있어야 합니다. 없으면 면접관이 '그 모델의 특징은 무엇인가요?'를 추가로 묻는 경우가 자주 보입니다.
    骨
    02
    적용한 사례가 있는가?
    모델을 적용한 구체적인 사례가 답에 포함된 흔적이 있어야 합니다. 없으면 면접관이 '어떤 프로젝트에서 사용했나요?'를 질문하는 자리가 자주 보입니다.
    語
    03
    평가 방법은 무엇인가?
    모델 평가 방법에 대한 설명이 필요합니다. 없으면 면접관이 '어떤 지표로 평가했나요?'를 추가로 묻는 경우가 많습니다.
    本
    04
    결과를 어떻게 활용했는가?
    모델 적용 후 결과 활용에 대한 설명이 답에 있어야 합니다. 없으면 면접관이 '그 결과로 어떤 인사이트를 얻었나요?'를 질문하는 자리가 자주 보입니다.
    말로 해봐야 는다
    읽는 것과 말하는 건 다릅니다.
    이 질문, 소리 내어 답해 볼까요?
    토스 면접관 페르소나가 이 질문을 던지고, 당신의 답에 꼬리질문으로 되물어요.
    음성으로 답해보기
    PaddleOCR과 Tesseract 비교 평가약 90초VLM을 활용한 문서 이해 모델 평가약 90초LayoutLM 계열 모델 파인튜닝과 평가약 90초
    예시 답변 1
    약 90초

    PaddleOCR과 Tesseract 비교 평가

    SOTA OCR 모델로 PaddleOCR과 Tesseract를 비교 평가한 경험이 있습니다. 두 모델의 특성으로 PaddleOCR은 딥러닝 기반으로 복잡한 레이아웃과 손글씨에 강하고, Tesseract는 규칙 기반으로 깔끔한 인쇄체에서 빠른 처리속도가 장점입니다. 적용 사례로 금융 서류 디지털화 프로젝트에서 두 모델을 도메인별로 평가했습니다. 평가 방법으로 CER(Character Error Rate)와 처리 속도를 주요 지표로 측정하고, 문서 유형별(인쇄체·손글씨·표) 세분화 평가를 수행했습니다. 결과 활용으로 인쇄체 계약서는 Tesseract, 손글씨 포함 문서는 PaddleOCR을 사용하는 앙상블 라우팅 전략을 채택했습니다. 이 전략으로 전체 CER이 단일 모델 대비 18% 개선됐습니다.

    이 결의 특징
    인쇄체 계약서는 Tesseract, 손글씨 포함 문서는 PaddleOCR을 사용하는 앙상블 라우팅 전략이라는 설계 결론이 CER과 처리 속도를 문서 유형별로 세분화 평가한 과정에서 도출됐다는 연결이 분명합니다. 단순 비교 평가에서 끝나지 않고 실무 적용 전략까지 이어진 흔적이 보입니다.
    이 결이 통하는 자리
    CER 18% 개선이라는 수치와 함께 모델 선택 근거를 특성 기반으로 설명하는 흔적이 살아 있을 때, 기술 비교 평가 능력과 실무 설계 판단력을 함께 보려는 자리에서 꼬리질문이 줄어드는 결이 자주 보입니다.
    예시 답변 2
    약 90초

    VLM을 활용한 문서 이해 모델 평가

    SOTA VLM인 GPT-4V와 Claude 3를 문서 이해 태스크에 적용하고 비교 평가한 경험이 있습니다. 전통적인 OCR + 후처리 방식으로 해결하기 어려운 복잡한 표와 차트가 포함된 보고서 파싱 문제에 VLM을 적용했습니다. 평가 방법으로 추출 정확도, 구조 보존율, 처리 비용을 함께 측정하고, 100개 문서로 구성된 벤치마크 세트를 직접 구축했습니다. 두 모델을 비교한 결과 표 구조 파싱에서는 Claude 3가, 수식 추출에서는 GPT-4V가 강점을 보이는 패턴을 발견했습니다. 결과 활용으로 태스크 유형별 모델 라우팅 정책을 수립했고, 비용 대비 성능 최적화를 위해 복잡도가 낮은 문서는 경량 OCR로 먼저 시도하는 계층적 파이프라인을 설계했습니다.

    이 결의 특징
    100개 문서 벤치마크 세트를 직접 구축하고 추출 정확도·구조 보존율·처리 비용을 함께 측정했다는 평가 설계 과정이 구체적입니다. 표 구조 파싱과 수식 추출이라는 태스크별 모델 강점 패턴을 발견했다는 흔적은 단순 점수 비교가 아닌 분석적 평가 경험을 보여주는 결이 보입니다.
    이 결이 통하는 자리
    태스크 유형별 모델 라우팅 정책과 계층적 파이프라인이라는 설계 결론이 평가 결과에서 도출됐다는 흐름이 살아 있을 때, 연구 결과를 시스템 설계로 연결하는 능력을 확인하려는 자리에서 신뢰감이 생기는 흔적이 자주 보입니다.
    예시 답변 3
    약 90초

    LayoutLM 계열 모델 파인튜닝과 평가

    문서 이해를 위해 LayoutLMv3를 사내 도메인 데이터로 파인튜닝하고 평가한 경험이 있습니다. SOTA VLM의 강점은 텍스트와 레이아웃 위치 정보를 함께 이해하는 것인데, 이를 특정 도메인에 맞게 세밀하게 조정하는 것이 목표였습니다. 적용 사례로 의료 문서의 키-값 쌍 추출 태스크에 적용했고, 500개 어노테이션 데이터로 파인튜닝을 수행했습니다. 평가 방법으로 F1-score와 필드별 정확도를 측정하고, 특히 날짜·금액·코드 필드의 오인식 패턴을 세분화 분석했습니다. 결과 활용으로 오인식이 집중된 필드는 후처리 규칙으로 보완하고, 신뢰도 점수가 낮은 경우 인간 검토로 라우팅하는 하이브리드 검증 파이프라인을 구축했습니다. 파인튜닝 후 필드 추출 정확도가 91%에서 97%로 향상됐습니다.

    이 결의 특징
    500개 어노테이션 데이터로 파인튜닝하고 날짜·금액·코드 필드의 오인식 패턴을 세분화 분석했다는 과정이 필드별 정확도 측정이라는 평가 방법과 함께 드러납니다. 신뢰도 점수 낮은 경우 인간 검토로 라우팅하는 하이브리드 파이프라인이라는 설계가 도메인 한계를 인정한 판단에서 나왔다는 흔적이 보입니다.
    이 결이 통하는 자리
    91%에서 97%로 향상됐다는 수치와 함께 후처리 규칙으로 오인식 보완까지 챙겼다는 흔적이 살아 있을 때, 모델 정확도와 실무 신뢰성 사이의 간극을 어떻게 메우는지 확인하려는 자리에서 꼬리질문이 줄어드는 결이 자주 보입니다.
    !
    위 답변은 여러 풀이 중 한 가지 예시입니다. 정답이 아니며, 외워서 그대로 말하면 면접관이 다음 질문을 그 자리에서 시작하는 경우가 많습니다. 본인의 프로젝트·기준·숫자로 다시 짜는 자리로만 쓰세요.
    ✕자주 빠지는 자리

    같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.

    • ✕떨어뜨린 옵션이 1개라도 있는가? "이게 답이었어요"만으로는 의사결정이 아니라 그냥 선택입니다.
    • ✕선택 기준이 그 프로젝트에 한정되는가? "성능이 좋아서"는 일반론, "우리 트래픽이 X 패턴이라서"가 본인의 답입니다.
    • ✕결과 숫자 1개를 정확히 말할 수 있는가? P95·QPS·적중률 — 무엇이든 1개. 숫자가 없으면 직감으로 한 일처럼 들리기 쉽습니다.
    • ✕지금 다시 한다면 어떻게 할지 답할 수 있는가? "잘했다"보다 "이건 다르게 했을 것 같다"가 더 깊은 인상을 남깁니다.
    ▶이어질 꼬리질문

    진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.

    壹어떤 기준으로 모델을 평가하셨나요?
    貳그 과정에서 어려운 점은 없으셨나요?
    參이 모델의 성능 개선을 위한 다음 단계는 무엇인가요?
    이제, 직접 답해볼 차례예요.
    눈으로 읽은 답은 면접장에서 나오지 않아요. 토스 면접관과 이 질문으로 한 번 대화해 보세요.
    이 질문으로 모의면접 해보기
    또는, 다음 질문으로

    같은 흐름에서 자주 이어지는 질문들이에요.

    삼성전자 · 임베디드·펌웨어
    MTO 평가 후 이미지 센서를 조정하고 검증하는 과정에서의 경험을 나눠주세요.
    이 질문 보기
    GS리테일 · 데이터 사이언티스트
    CVR/CTR 모델링을 통해 검색 랭킹을 개선한 경험에 대해 이야기해 주세요.
    이 질문 보기
    유진그룹 · 부동산 개발
    재무 모델링에 대한 경험을 구체적으로 말씀해 주세요.
    이 질문 보기
    CJ올리브영 · 서비스기획
    고객 VOC를 분석하며 개선사항을 도출한 경험에 대해 말씀해 주세요.
    이 질문 보기
    안내 · 이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 실제 출제·회사 공식 입장과는 무관하며, 정정 요청 시 24시간 내 반영합니다. 자세히
    개인정보처리방침이용약관문의
    © 2026 우문현답. All rights reserved.
    이 페이지 목차
    01면접관의 의도02답변의 결03실수·꼬리질문04관련 질문
    말로 해봐야 는다
    이 질문, 토스 면접관과
    음성으로 답해볼까요?
    모의면접 해보기
    첫 회 무료 · 종료 즉시 음성 폐기