부분 관측 시스템에서 확신 등가 정책의 최적 이하 한계

초록

본 논문은 비선형 부분 관측 마르코프 결정 과정(POMDP)에서 상태 추정값을 이용해 최적 상태 피드백 정책을 적용하는 확신 등가(Certainty‑Equivalent) 정책의 성능 저하를 정량화한다. 비용과 전이 함수가 Lipschitz(또는 보다 일반적인 concave) 연속성을 만족할 때, 추정 오차의 최악값을 이용해 정책의 서브‑옵티멀리티 상한을 제시하고, 상태 추상화(aggregation)와 결합한 경우에도 동일한 형태의 경계식을 도출한다. 여러 시뮬레이션 예제로 결과의 실용성을 확인한다.

상세 분석

이 논문은 전통적인 LQG의 확신 등가 원리를 일반 POMDP에 확장한다는 점에서 이론적 의의가 크다. 저자들은 먼저 완전 관측 MDP M의 최적 정책 π_M을 구하고, 임의의 추정기 E_t (예: MMSE, MAP, 혹은 단순 선형 추정)로부터 얻은 상태 추정값을 입력으로 π_M을 적용하는 정책 μ_E를 정의한다. 이 정책은 LQG에서는 최적이지만, 비선형·비가우시안 환경에서는 일반적으로 최적이 아니다. 따라서 논문은 μ_E와 실제 최적 POMDP 정책 사이의 가치 차이 W_{P,μ_E} − W_P 에 대한 상한을 구한다.

핵심 가정은 두 가지 연속성 조건이다. (1) 전이 커널 P_{S,t} 의 Wasserstein‑1 거리와 상태 거리 d_S  사이에 비감소·볼록 함수 F_{P,t} 이 존재한다(즉, 전이가 Lipschitz 연속 혹은 더 일반적인 형태). (2) 즉시 비용 c_t 도 동일한 형태의 F_{c,t} 에 의해 상태 차이에 제한된다. 이러한 가정은 기존 문헌에서 MDP 의 가치 함수가 Lipschitz 연속임을 보이는 조건과 일치한다.

추정 오차는 η_t = sup_{h_t} E