확률적 꿈꾸기 세계 모델의 다중 잠재 상태 탐색

초록

본 논문은 Dreamer‑v3 기반의 세계 모델에 확률적 입자 필터와 잠재 빔 탐색을 도입해, 하나의 잠재 상태가 아닌 다수의 가설을 동시에 상상하도록 설계하였다. MPE SimpleTag 환경에서 K=2 입자를 사용한 ‘Lite’ ProbDreamer가 기존 Dreamer 대비 평균 4.5% 높은 점수와 28% 낮은 반환 분산을 기록했으며, 다중 모드 상황에서 정책의 반응 속도가 크게 개선되었다. 그러나 입자 수와 빔 폭을 늘린 ‘Full’ 모델은 프리‑프루닝 오류와 앙상블 붕괴로 성능이 급락하는 한계를 보였다.

상세 분석

이 연구는 모델 기반 강화학습에서 “꿈꾸기(dreaming)” 단계가 단일 샘플링에 의존한다는 근본적인 제약을 확률적 입자 필터(particle filter)로 완화한다는 점에서 의미가 크다. 기존 Dreamer는 연속형 가우시안 잠재 변수를 사용하지만, 하나의 평균값만을 샘플링해 다중 모드 상황을 평균화함으로써 비현실적인 ‘중간’ 경로를 생성한다. 저자는 이를 해결하기 위해 K개의 입자를 유지하고, 각 입자에 대해 N개의 행동 후보를 브랜칭하는 잠재 빔 탐색(latent beam search)을 적용하였다. 입자 집합은 prior‑distribution에 의해 전파되며, resampling 과정을 통해 복잡한 다중 모드 분포를 근사한다.

프리‑프루닝 단계에서는 프리‑프리딩(free‑energy) 원리를 차용해, 가치 함수 V와 앙상블 불확실성 σ²_ens 를 가중합한 점수 F = V + β·σ²_ens 로 각 브랜치를 평가한다. 여기서 V는 현재 정책이 예측한 기대 보상, σ²_ens는 여러 prior 모델 간 예측 차이로 측정되는 에피스틱 불확실성이다. β는 탐험‑활용 균형을 조정하는 하이퍼파라미터다.

실험 설계는 MPE SimpleTag라는 다중 에이전트 환경을 사용했으며, 포식자는 “CHASE”와 “INTERCEPT” 두 전략을 확률적으로 전환한다. 이는 명확히 구분되는 두 모드가 존재함을 의미한다. 베이스라인 Dreamer와 비교했을 때, K=2 입자를 사용한 Lite ProbDreamer는 4.5%의 평균 점수 향상과 28% 낮은 반환 분산을 달성했다. 이는 입자 필터가 두 개의 상충되는 가설을 동시에 유지함으로써, 포식자 전략 변화에 즉각적으로 대응할 수 있게 만든 결과이다.

하지만 Full 모델에서 입자 수(K=48)와 빔 폭(N=24)을 늘리면 성능이 급격히 저하된다. 저자는 이를 세 가지 원인으로 분석한다. 첫째, 입자 과포화(particle saturation)로 인해 불필요한 잡음까지 모델링하게 된다. 둘째, 가치 기반 프루닝이 실제 관측이 없는 상상 단계에서 과도하게 낙관적인 트래젝터리를 선택해 학습을 오염시킨다. 셋째, 앙상블 기반 불확실성 추정이 빠르게 붕괴해 다양성을 상실한다. 이러한 문제는 향후 연구에서 동적 K 조정, 보다 견고한 프루닝 기준(예: 베이지안 정보량), 그리고 MC‑Dropout이나 베이지안 신경망과 같은 고급 불확실성 추정 기법을 도입함으로써 해결될 수 있다.

전체적으로 이 논문은 연속형 잠재 공간의 미분 가능성을 유지하면서도 다중 모드 상황을 효과적으로 다루는 방법을 제시한다는 점에서 모델 기반 RL 분야에 중요한 기여를 한다. 특히 입자 필터와 빔 탐색을 결합한 구조는 샘플 효율성을 크게 향상시킬 잠재력을 가지고 있다. 다만 현재 구현은 프리‑프루닝과 앙상블 관리에 취약하므로, 이를 보완한 다음 세대의 ProbDreamer가 더 복잡하고 부분 관측이 가능한 환경에서도 강력한 성능을 보일 것으로 기대된다.