모방학습 vs 강화학습 — 학습 신호의 출처
약 90초
학습 신호 차이 설명 → BC의 한계 경험 → 결합 방식 이해
두 접근의 핵심 차이는 학습 신호의 출처라고 이해하고 있습니다. 모방학습(Imitation Learning) 은 전문가 데이터를 보고 같은 행동을 흉내내는 방식이라, 보상 설계 없이 시작할 수 있다는 장점이 있습니다. 반면 강화학습(RL)은 환경과 상호작용하며 보상을 최대화하는 방향으로 학습해, 전문가 데이터 없이도 최적 정책을 탐색할 수 있습니다. 직접 구현한 건 Behavior Cloning 방식이었는데, 전문가 분포를 벗어나는 상황에서 오류가 누적되는 compounding error 문제를 경험했습니다. 두 방법을 결합한 DAgger 같은 접근이 실용적인 이유도 그 경험을 통해 이해하게 됐습니다.
이 결의 특징
두 접근의 핵심 차이는 학습 신호의 출처라고 이해하고 있습니다. 모방학습(Imitation Learning) 은 전문가 데이터를 보고 같은 행동을 흉내내는 방식이라, 보상 설계 없이 시작할 수 있다는 장점이 있습니다. 반면 `강화학습(RL)`은 환경과 상호작용하며 보상을 최대화하는 방향으로 학습해, 전문가 데이터 없이도 최적 정책을 탐색할 수 있습니다
이 결이 통하는 자리
직접 구현한 건 `Behavior Cloning` 방식이었는데, 전문가 분포를 벗어나는 상황에서 오류가 누적되는 compounding error 문제를 경험했습니다. 두 방법을 결합한 DAgger 같은 접근이 실용적인 이유도 그 경험을 통해 이해하게 됐습니다는 자리에서 통합니다