경험 기반 구체화
세계 모델(World Model)을 활용한 계획 및 추론 연구를 직접 수행한 경험은 없지만, 학교 강화학습 수업에서 모델 기반 강화학습(MBRL) 개념을 배웠습니다. 세계 모델은 에이전트가 환경의 내부 표현(Internal Representation)을 학습해서, 실제 환경과 상호작용하지 않고도 상상 속에서 미래 상태를 예측하고 계획을 세울 수 있게 합니다. 이 방식의 가장 큰 장점은 샘플 효율성인데, 실제 상호작용 없이 모델 안에서 수천 번의 롤아웃을 시뮬레이션할 수 있어 학습 비용이 크게 줄어듭니다. 세계 모델의 핵심 도전은 모델 오류 누적인데, 시뮬레이션이 길어질수록 실제 환경과의 오차가 쌓이면서 계획이 비현실적이 됩니다.
Dreamer 같은 최신 연구가 이 문제를 잠재 공간 표현으로 해결하는 방향을 보여준다는 것을 논문 리뷰에서 배웠습니다.