보상이 희박할 때 엔트로피를 찾아 나서는 플래닝

초록

본 논문은 Dreamer 기반 모델 기반 강화학습(MBRL)에서 세계 모델을 추론 단계에 활용해 고엔트로피 상태를 사전에 탐색하는 계층적 플래너를 제안한다. 짧은 시계열의 잠재적 예측을 이용해 엔트로피와 보상을 동시에 최적화하고, 메타‑플래너(PPO 기반)로 재계획 시점을 동적으로 결정한다. MiniWorld, Crafter, DeepMind Control 등에서 기존 Dreamer 대비 샘플 효율성을 크게 향상시킨다.

상세 분석

이 연구는 기존 MBRL 파이프라인에서 세계 모델이 학습 단계 이후 버려지는 비효율성을 지적하고, 추론 시에도 모델을 적극 활용하는 새로운 탐색 메커니즘을 도입한다. 핵심 아이디어는 DreamerV3의 RSSM이 제공하는 잠재 상태의 사전 분포(p ϕ(zₜ|hₜ))의 엔트로피를 직접적인 내재 보상으로 사용한다는 점이다. 엔트로피는 정보 이득(Information Gain)과 동일시될 수 있으며, 이는 KL 발산을 최소화하는 모델 학습 목표와 미니맥스 관계를 형성한다. 즉, 학습 단계에서는 KL을 최소화해 모델을 정확히 맞추고, 플래닝 단계에서는 높은 엔트로피를 가진 상태를 선택해 모델이 아직 확신하지 못하는 영역을 탐색한다.

플래너는 두 단계로 구성된다. 첫 번째 단계에서는 현재 잠재 상태 hₜ에서 N(=256)개의 짧은(길이 H=15) 롤아웃을 생성한다. 각 롤아웃은 Dreamer의 그리디 액터와 세계 모델을 결합해 시뮬레이션되며, 각 타임스텝 t′에 대해 λᵣ·ĥrₜ′ + λᴴ·H(p ϕ(zₜ′|hₜ′))를 누적한다. 여기서 λᵣ와 λᴴ는 보상과 엔트로피의 가중치를 조절한다. 누적값이 가장 큰 τ*를 선택하고, 해당 액션 시퀀스를 실행한다.

두 번째 단계는 메타 플래너이며, 경량 PPO 헤드를 사용해 현재 실행 중인 플랜을 유지할지, 혹은 새로운 플랜을 생성할지 결정한다. 메타 플래너는 최근 관측된 실제 엔트로피 변화와 예측 보상 차이를 입력으로 받아, 플랜이 ‘스태일(stale)’해졌을 때 재계획을 트리거한다. 이 구조는 전통적인 MPC가 매 타임스텝마다 전체 플랜을 재생성하는 비효율성을 극복하고, 플랜에 대한 ‘커밋(commit)’을 학습함으로써 불필요한 디더링(dithering)을 감소시킨다.

실험 결과는 세 가지 벤치마크에서 확인된다. MiniWorld의 절차적 3D 미로에서는 수렴 시점까지 50% 빠른 완료와, 기본 Dreamer가 필요로 하는 환경 스텝의 60%만으로 동일 성능을 달성했다. Crafter에서는 동일 보상을 1/3 스텝으로 얻었으며, 탐색 행동이 논리적으로 보상 가능한 영역을 선점하는 모습을 보였다. DeepMind Control에서는 전반적인 샘플 효율이 향상되었지만, 복잡한 연속 제어 환경에서는 플래닝 오버헤드가 제한적 이득을 초래한다는 점도 언급된다.

한계점으로는 (1) 단일 모달 사전 분포가 다중 모달 환경에서 인위적으로 높은 엔트로피를 생성해 ‘노이즈 탐색’ 위험이 존재하고, (2) 희귀 전이(rare transition)를 포함하는 상황에서는 모델이 해당 모드를 과소평가해 탐색이 부족해질 수 있다. 저자는 향후 모드 탐지 옵션 학습이나 교사‑학생 구조를 도입해 이러한 문제를 보완할 것을 제안한다.

전반적으로 이 논문은 MBRL에서 세계 모델을 추론 단계에 재활용함으로써 탐색 효율을 크게 개선하는 실용적인 프레임워크를 제공한다. 엔트로피 기반 내재 보상과 메타 플래너를 결합한 계층적 설계는 기존 MPC와 호기심 기반 보상 방식의 장점을 통합하면서도, 플래닝 비용과 커밋 문제를 효과적으로 다룬다.