다중환경 MDP의 사전 및 보편 의미 관계 분석

초록

본 논문은 다중환경 마코프 결정 과정(MEMDP)을 사전 의미와 보편 의미 두 관점에서 비교·연계한다. 파리티 목표에 대해 가치 1(거의 확실) 문제는 두 의미가 동등함을 보이고, 사전 의미 하에서의 일반 가치 근사 알고리즘을 제시한다. 사전 가치의 최솟값이 보편 가치와 일치함을 증명해 보편 의미의 ε‑갭 문제도 동일한 복잡도(유니코드 확률은 PSPACE, 일반은 EXPSPACE)로 해결한다. 또한 믿음 엔트로피가 감소하는 POMDP는 효율적으로 MEMDP로 환원될 수 있음을 보여, 사전‑MEMDP가 실용적인 POMDP 부분 클래스임을 강조한다.

상세 분석

논문은 먼저 MEMDP의 정의를 명확히 하고, 환경이 관측되지 않은 상태에서 여러 확률 전이 함수를 공유하는 구조를 제시한다. 두 의미 체계는 (i) 보편 의미에서는 적대적 환경 선택자가 최악의 환경을 고정하고, (ii) 사전 의미에서는 실행 전에 고정된 확률 분포(사전)에서 환경이 무작위로 선택되는 점에서 차별된다. 파리티 목표는 ω‑정규 언어를 표현하는 대표적인 사례로, 이 논문은 파리티 목표에 대해 가치 1(거의 확실) 문제에서 두 의미가 완전히 동등함을 증명한다(정리 1, 명제 1). 이는 기존 연구에서 보편 의미와 사전 의미가 각각 별도로 다루어졌던 것을 통합하는 중요한 결과이다.

정량적 분석에서는 사전 의미 하에서의 가치 근사를 위한 ε‑갭 알고리즘을 설계한다. 핵심 아이디어는 구별 가능한(state‑action) 쌍이 등장할 때마다 믿음(belief)을 베이즈식으로 업데이트하고, 믿음 엔트로피가 비증가한다는 특성을 이용해 상태 공간을 효율적으로 압축한다. 이 과정에서 믿음 업데이트를 함수 λ