예시 답변 1
약 108초
Generalist Agent 설계 핵심 요소·경험 중심으로 푸는 결
게임 환경에서 Generalist Agent를 설계할 때 가장 중요하게 고려해야 하는 요소는 일반화 능력(generalization)이라고 생각합니다.
특정 환경에서만 잘 작동하는 에이전트는 환경 변수가 조금만 바뀌어도 성능이 급격히 떨어집니다. 이를 막으려면 다양한 게임 환경과 태스크 분포에서 학습하게 해야 합니다. multi-task learning 또는 meta-learning 방식으로 학습 분포를 넓히는 것이 일반적입니다. 또 게임마다 관찰 공간과 행동 공간이 다르기 때문에, 이를 통일된 인터페이스로 추상화하는 설계도 중요합니다.
두 번째로는 샘플 효율성입니다. 게임 환경은 상호작용 데이터를 무한히 생성할 수 있지만, 현실적인 학습 시간 안에 효과적으로 수렴해야 합니다. 학부 강화학습 수업에서 MiniGrid 환경으로 간단한 PPO 에이전트를 구현해보면서, 보상 설계와 관찰 정규화가 수렴 속도에 얼마나 영향을 주는지를 직접 실험했습니다.