일반 에이전트는 부분 관측·확률성 환경에서도 세계 모델을 내포한다

초록

본 논문은 기존 연구가 전제한 ‘결정론적·완전 관측’ 가정을 제거하고, 부분 관측 및 확률적 환경에서도 거의 최적의 일반 에이전트가 자신의 세계에 대한 모델을 암묵적으로 보유함을 증명한다. 이를 위해 목표‑조건부 정책의 δ‑optimality 개념을 확장하고, stochastic 정책에 대한 새로운 오류 한계 O(1/√n) 를 제시한다. 또한 ‘일반성’ 요구를 완화하여 깊이‑n 목표의 폭 2만으로도 충분히 세계 추정이 가능함을 보인다.

상세 분석

이 논문은 두 가지 핵심적인 이론적 진보를 제공한다. 첫 번째는 부분 관측(cMDP)와 확률적 정책을 허용하면서도 기존 정리와 동일한 형태의 세계 추정기를 구성할 수 있다는 점이다. 원 논문에서는 에이전트가 결정론적이고 환경이 완전 관측 가능할 때, 목표‑조건부 정책 π가 n‑depth 목표를 거의 최적으로 달성하면, π에 대한 블랙박스 질의를 통해 전이 확률 P(s′|s,a)를 ˆP 로 추정하고 |ˆP−P|≤O(1/√n) 의 오차를 보장했다. 여기서 저자는 정책을 확률분포 π:HF→Δ(A) 로 일반화하고, δ<½ 라는 약한 최적성 조건만을 요구한다. 이때 목표 집합을 ρ_{b,r}, ψ_{b,k}, χ_{b,k} 와 같이 이진 시퀀스와 성공 횟수에 기반한 복합 목표로 구성한다. Lemma 2와 Lemma 3을 그대로 활용하면서, stochastic 정책의 경우 목표 달성 확률이 기대값이 아닌 확률적 상한 으로 해석된다. 따라서 추정기의 편차는 추가적인 로그항 L=log₂