A
약 120초
RLHF 3단계 구조 이해, 보상 모델 품질의 핵심성과 DPO 대안 파악
RLHF를 직접 적용한 경험은 없지만, 논문과 튜토리얼을 통해 이론과 구조를 이해하고 있습니다. RLHF는 크게 세 단계로 나뉩니다. 사전학습 모델을 지도 학습으로 파인튜닝하고, 사람의 선호 데이터로 보상 모델(Reward Model)을 학습한 뒤, 이를 활용해 강화학습으로 원래 모델을 업데이트하는 흐름입니다.
가장 어려운 부분은 보상 모델의 품질이라고 이해하고 있습니다. 인간 선호 데이터를 수집하는 비용이 크고, 평가자 간 의견 불일치(Rater disagreement)가 있을 수 있기 때문입니다. 대안으로 DPO(Direct Preference Optimization) 방식이 최근 주목받는다는 것도 알고 있습니다. 한계는 실제 보상 모델 학습 파이프라인을 구현해본 경험은 없습니다.
이 결의 특징
직접 경험 없이 RLHF 3단계 구조와 보상 모델 품질의 핵심성을 논문·튜토리얼로 이해한 경험을 연결하는 구조입니다. DPO를 대안으로 파악하고 있다는 점이 이 결의 깊이를 더합니다.
이 결이 통하는 자리
LLM·AI 연구 직군 면접에서 'RLHF를 어떻게 이해하나'를 물을 때 잘 맞습니다. 직접 경험 없이도 핵심 구조와 어려움을 설명하는 지원자인지 확인하고 싶은 면접관이 멈추는 결입니다.