이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
LLM 프롬프팅을 활용한 대화 시나리오 설계를 처음 해본 것은 고객 응대 챗봇 프로토타입을 만드는 프로젝트에서였습니다. 단순 Q&A가 아니라 맥락을 이어가는 대화를 설계할 때, 각 턴에서 어떤 정보가 필요하고 어떤 응답을 유도할지를 흐름도로 먼저 정리했습니다.
시나리오 분기점을 명확히 정의하는 것이 중요했는데, 사용자가 예상 흐름 밖의 발언을 했을 때 모델이 자연스럽게 다시 목적으로 돌아오도록 프롬프트를 구성했습니다. System 프롬프트에 역할, 제약, 응답 형식을 명시하고, 대화 이력을 함께 넣어 맥락을 유지했습니다.
엣지 케이스 처리가 가장 어려운 부분이었는데, 모델이 과도하게 상세한 답변을 생성하거나 범위 밖의 내용을 말하는 경우를 걸러내는 가드 조건을 프롬프트에 추가했습니다. 대화 시나리오 설계는 상태와 분기를 먼저 그리고 프롬프트를 채우는 것이 결임을 배웠습니다.
고객 상담 봇에서 특정 발화 패턴이 의도치 않은 상태로 전이되는 문제가 반복됐습니다. 원인을 추적하니 시나리오 분기 조건이 키워드 매칭에만 의존하고 있었고, 유사 표현이 다른 인텐트로 라우팅되는 경우가 많았습니다. 저는 기존 규칙 기반 분기를 LLM 인텐트 판별 + 신뢰 점수 임계값 구조로 전환하고, 신뢰 점수가 낮은 발화는 명확화 질문(clarification prompt)을 삽입하도록 시나리오를 재설계했습니다. A/B 테스트에서 오분류율이 28% 감소했고, 사용자가 대화를 중도 이탈하는 비율도 눈에 띄게 줄었습니다. 대화 시나리오 설계는 행복 경로(happy path)보다 예외 발화 처리가 품질을 가르는 핵심이라는 시각을 갖게 됐습니다.
LLM 기반 챗봇에서 이전 대화 내용을 무시한 채 반복 질문을 생성하는 환각 문제가 발생했습니다. 프롬프트에 전체 대화 이력을 그대로 넣으면 컨텍스트 창이 빠르게 소진되고 관련 없는 내용이 노이즈로 작용했습니다. 이를 해결하기 위해 대화 이력 요약 레이어를 별도로 두고, 매 턴마다 직전 3턴 원문 + 전체 요약을 조합해 주입하는 방식을 설계했습니다. 요약 품질을 검증하기 위해 인간 평가자 3인의 일관성 점수를 지표로 삼았고, 요약 기반 컨텍스트 주입이 원문 전달 대비 관련성 점수 +0.18 향상을 보였습니다. 프롬프트 설계는 단일 발화보다 멀티턴 흐름 전체를 입력 단위로 사고해야 효과적이라는 결론을 얻었습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 이스트소프트 ML 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.