동적계획법으로 다루는 불확실성 MDP의 위험 측정 통합 프레임워크

초록

이 논문은 전이 확률의 불확실성을 확률 변수로 모델링하고, 정책의 기대 수익에 위험 측정값을 적용하는 ‘모호성 회피 MDP’를 제안한다. 일반적인 위험 측정(기대값, VaR, CVaR, 엔트로피 등)을 포함하는 통합 이론을 구축하고, 동적계획법 원리를 확장해 Bellman 연산자를 정의한다. 특정 위험 측정에 한해 수렴성, 단일정책 존재, 가치·정책 반복 알고리즘의 유효성을 증명하며, 동적계획법과 호환되는 법률 불변 위험 측정은 오직 강건, 낙관, 위험중립 세 종류뿐임을 완전히 규정한다.

상세 분석

본 연구는 MDP의 전이 확률을 확률 변수 ˜P 로 두고, 그 분포 ν 를 통해 epistemic uncertainty 를 정량화한다. 정책 π 에 대한 가치 함수 Vπ,˜P (s) 는 기존 MDP와 동일하게 정의되지만, 이제 이 값 자체가 무작위 변수이므로 의사결정자는 ρ(·) 라는 위험 측정 함수를 적용해 ρ(µᵀVπ,˜P) 를 최적화한다. 논문은 두 가지 전이 불확실성 모델—정적(한 번 샘플링 후 고정)과 재샘플링(i.i.d.)—을 구분하고, 각각이 동적계획법에 미치는 영향을 분석한다. 특히, 전이 분포 ν 가 product structure(상태별 전이 확률이 독립) 를 만족하면 기존 강건 MDP에서 요구되는 rectangularity 조건과 일치함을 보인다.

위험 측정에 대해 저자는 단조성, 평행 이동 불변성, 법률 불변성이라는 세 가지 공리를 가정한다. 이러한 공리를 만족하는 위험 측정은 Bellman 연산자 Tπ,ν,ρ 가 단조(monotone)이며 ℓ∞-노름에서 수축(contraction)한다는 핵심 정리를 도출한다. 따라서 고정점 존재와 가치 함수의 고유성, 그리고 최적 정책이 stationary 할 수 있음을 보장한다. 가치 반복(value iteration)과 정책 반복(policy iteration) 알고리즘도 동일한 수렴 속성을 유지한다.

하지만 논문의 가장 중요한 기여는 “동적계획법과 호환되는 법률 불변 위험 측정”을 완전히 규정한 정리 4.4와 4.5이다. 여기서는 추가적인 연속성 가정 하에 위험 측정이 ess inf(최소값), ess sup(최대값), 혹은 기대값(E) 로만 축소될 수 있음을 증명한다. 즉, CVaR, 엔트로피 위험 등은 동적계획법의 고전적 형태에서는 적용할 수 없으며, 이를 사용하려면 상태 확장, 중첩 위험 측정, 혹은 직접적인 샘플 기반 최적화와 같은 비동적계획법 접근이 필요함을 명시한다.

실험적·이론적 연결 고리로, 논문은 기존의 Robust MDP, Optimistic MDP, Multi‑model MDP, Percentile Optimization 등을 모두 ρ에 적절한 선택을 두어 동일한 프레임워크 안에 재현한다. 표 1은 각 모델이 정적/재샘플링 전이와 동적계획법 적용 가능 여부를 한눈에 보여준다. 이를 통해 연구자는 새로운 위험‑민감 MDP 모델을 설계할 때, 동적계획법을 유지하고 싶다면 법률 불변 위험 측정 중 하나만 선택해야 함을 명확히 알 수 있다.

결과적으로, 이 논문은 MDP의 epistemic uncertainty 를 위험 측정과 결합한 통합 이론을 제공함과 동시에, 동적계획법이 허용하는 위험 측정의 범위를 엄격히 한정함으로써 향후 연구 방향—예를 들어, 비법률 불변 위험, 중첩 위험, 혹은 강화학습 기반 직접 최적화—을 제시한다.