예시 답변 1
약 90초
솔직한 경험 기반 접근
LLM 파인튜닝 데이터를 직접 구축한 경험은 없지만, 수업에서 SFT·RLHF·DPO 각 방법의 차이를 정리한 경험이 있습니다. SFT는 입력-출력 쌍으로 지도 학습하는 자리이고, RLHF는 사람의 선호를 보상 신호로 변환해 모델을 조정하는 자리, DPO는 선호 쌍을 직접 학습 신호로 쓰는 방식으로 이해합니다. 데이터 구축에서 가장 중요한 자리는 어떤 품질 기준으로 레이블을 달 것인가라고 봅니다.
레이블 기준이 흔들리면 같은 입력에 다른 답이 달리고, 모델이 어느 결로 가야 하는지를 잡지 못합니다. 직접 경험이 없어 이 자리에서 배워 가겠다는 게 솔직한 현 위치입니다.
이 결의 특징
SFT·RLHF·DPO 각각의 동작 원리를 레이블 데이터와 보상 모델의 역할 차이로 구분한 결입니다. '어느 단계에서 무엇이 학습되는가'를 분리해 설명하면 면접관이 특정 단계만 파고드는 꼬리 질문이 명확해집니다.
이 결이 통하는 자리
LLM 파인튜닝 실험을 직접 돌려본 경험이 있을 때 살아납니다. 단계 이름만 나열하는 것이 아니라 '이 단계에서 레이블 품질이 왜 중요한지'를 한 줄 짚어두면 결이 교과서 수준을 넘어섭니다.