평가 신뢰성 확보 방법 압박
이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
LLM-as-a-judge에서 채점 편향을 줄이려면 평가자 모델과 피평가 모델을 분리하는 것이 기본입니다. 같은 모델이 자신의 출력을 평가하면 자기 선호 편향이 생깁니다. 그래서 저는 여러 개의 독립된 평가 프롬프트를 만들어서 결과를 집계하는 방식을 선호합니다. 평가 신뢰성 통제는 답이 명확한 `골드셋`을 만들어 주기적으로 보정 테스트를 돌리는 방식이 효과적입니다. 평가 기준 자체가 모호하면 아무리 모델을 바꿔도 해결이 되지 않기 때문에, 루브릭(채점 기준)을 먼저 명확히 정의하는 것이 선행되어야 합니다.
루브릭을 먼저 명확히 정의하는 것이 평가 신뢰성의 출발입니다. 채점 기준이 명확할수록 평가 파이프라인이 신뢰받습니다.
채점 편향을 통제하는 방법으로 저는 포지션 편향에 주목해요. LLM은 답변 순서나 길이에 영향을 받기 때문에, 같은 쌍을 순서를 바꿔서 두 번 평가하고 결과가 다르면 편향 의심으로 처리하는 방식을 써요. 평가 신뢰성은 자동 평가 지표(`BLEU`, `ROUGE`)와 사람 평가를 함께 쓰는 이중 검증이 가장 안정적이에요. 또 평가 프롬프트 자체를 `버전 관리`하고 변경할 때마다 일부 골드셋에서 점수 변화를 확인해요. 평가 파이프라인도 코드처럼 테스트 가능한 구조로 설계해야 신뢰할 수 있어요.
평가 파이프라인도 테스트 가능한 구조로 설계해야 해요. 평가 파이프라인을 테스트 가능한 구조로 설계하는 게 중요해요.
채점 편향 중 가장 다루기 어려운 건 긴 답변을 더 좋게 보는 경향이에요. 실제로 길이와 품질이 다른데 LLM이 구분을 못 하는 경우가 있어요. 이를 줄이려면 평가 기준에 '길이와 무관하게 핵심에 답했는가'를 명시하는 방식이 효과적이에요. 평가 신뢰성 통제는 답의 범위를 좁게 잡을 수 있는 태스크와 열린 태스크를 분리해서 평가 방식을 달리해야 해요. 모든 태스크에 같은 평가 기준을 쓰면 답이 정해진 것과 없는 것을 섞어서 보는 오류가 생겨요.
태스크 유형에 따라 평가 기준을 다르게 설계해야 해요. 태스크 유형별 평가 기준 분리가 핵심이에요. 태스크별 평가 기준이 달라야 평가가 의미 있어요.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 채널톡 ML 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.