평균보상 강인 마르코프 의사결정 과정의 Bellman 최적성: 상수 이득 설정

초록

본 논문은 평균보상 기준의 강인(MDP)에서 상수 이득(constant‑gain) 형태의 Bellman 방정식이 언제 최적 평균 보상을 정확히 나타내는지를 규명한다. S‑직사각형(​S‑rectangular​) 적대자와 정보 비대칭을 허용한 설정에서, 약한(weak) 통신 조건을 제시해 방정식 해의 존재성을 보장하고, 해가 존재할 경우 정적 정책이 최적임을 증명한다. 또한 정보 비대칭이 심한 경우에는 sup‑inf 순서를 바꾼 방정식과 원 방정식의 최적값이 달라질 수 있음을 보여준다.

상세 분석

이 논문은 평균보상 강인 MDP(robust MDP) 분야에서 가장 근본적인 미해결 문제 중 하나인 “Bellman 최적성”을 상수 이득(constant‑gain) 형태로 재정의하고, 그 해의 존재와 최적성 의미를 체계적으로 분석한다. 먼저, 상태·행동이 유한하고 보상이