강인한 다항시간 정책 반복 알고리즘 L∞ 강건 MDP

초록

본 논문은 (s, a)‑직사각형 구조와 L∞ 불확실성 집합을 갖는 할인형 강건 마르코프 결정 과정(RMDP)에 대해, 고정된 할인 계수 하에서 강인한 다항시간(Strongly Polynomial)으로 수렴하는 정책 반복 알고리즘을 제시한다. 기존의 다항시간 결과는 선형계획법에 의존했으며 비트‑길이에 따라 복잡도가 달라졌지만, 저자들은 새로운 잠재함수와 조합론적 비트‑분석을 이용해 정책 개선 단계와 평가 단계를 각각 O(n log n)·poly(m) 수준으로 제한함으로써 전체 알고리즘이 입력 크기만큼만 연산을 수행하도록 증명한다.

상세 분석

이 논문은 강건 마르코프 결정 과정(RMDP) 중에서도 가장 널리 사용되는 (s, a)‑직사각형 모델과 L∞ 불확실성 집합을 대상으로 한다. (s, a)‑직사각형 가정은 각 상태‑행동 쌍마다 전이 확률이 독립적으로 변동할 수 있음을 의미하며, 이는 실제 데이터‑드리븐 환경에서 로컬 샘플링 기반 추정이 이루어지는 경우와 일치한다. L∞ 불확실성은 각 전이 확률 벡터가 명목값 ˆPₛ,ₐ에서 최대 δₛ,ₐ 만큼 좌표별로 변동할 수 있는 구형 집합으로, 계산적으로는 각 좌표에 대한 절대값 제한만 확인하면 되므로 구현이 간단하고 해석적 의미도 명확하다.

논문의 핵심 기여는 두 단계로 나뉜다. 첫 번째는 강건 마르코프 체인(RMC)에서 정책 반복(RMC‑PI) 알고리즘을 설계하고, 이를 강인한 다항시간으로 분석한 것이다. 여기서 저자들은 새로운 잠재함수 Φ를 정의한다. Φ는 현재 정책과 최적 정책 사이의 전이 확률 질량 이동을 정량화하며, 정책 개선 단계에서 발생하는 “확률 질량 재분배”를 정확히 추적한다. 이 잠재함수와 정책 가치 vₜ 사이의 관계를 여러 보조 정리(Lemma 8 등)로 연결한다. 특히 Lemma 8은 실수 집합의 부호가 있는 부분합에 대해 가장 중요한 비트(MSB)의 개수를 제한하는 조합론적 결과로, 이는 정책 개선 시 발생하는 전이 확률의 변동이 제한된 비트 수만큼만 영향을 미친다는 것을 보인다. 이 결과는 Theorem 20(및 강화된 Theorem 21)에서 일반화되어, 전이 확률이 L∞ 구형 집합에 제한될 때 가능한 정책 변형의 총 수가 입력 크기(상태 수 n)만큼 다항적으로 제한됨을 증명한다.

두 번째는 이러한 RMC‑PI 분석을 RMDP 전체로 확장한 RMDP‑PI 알고리즘이다. RMDP‑PI는 각 상태에서 에이전트가 선택할 행동을 고정하고, 환경 정책(전이 확률)만을 반복적으로 개선한다. 여기서는 기존의 정책 개선을 위해 LP를 풀어야 하는 문제를 피하기 위해, L∞ 집합에 특화된 동형(동적) 알고리즘인 Homotopy Algorithm(Algorithm 2)을 사용한다. 이 알고리즘은 전이 확률을 명목값에서 δ만큼씩 이동시키는 과정을 정렬된 가치 순서에 따라 O(n log n) 시간에 수행한다.

전체 복합 복잡도 분석에서는 다음과 같은 두 가지 핵심 요소가 결합된다. (1) 정책 평가 단계는 (I − γ P_ρ)⁻¹ c 형태의 선형 시스템을 해결하는데, 고정된 할인 계수 γ∈(0,1)와 강건 전이 행렬 P_ρ의 구조적 특성 덕분에 전통적인 가우스 소거법 대신 전이 행렬의 스펙트럼 반경을 이용한 빠른 반복법이 적용 가능하다. (2) 정책 개선 단계는 위에서 언급한 잠재함수와 비트‑제한 정리를 이용해, 각 반복마다 정책이 바뀌는 횟수가 O(n + m) 이하임을 보인다. 따라서 전체 알고리즘은 입력 변수(상태 수 n, 행동 수 m)만을 기준으로 다항적인 연산 횟수를 보장한다.

이 결과는 기존 연구와 명확히 구분된다. Ye(2011)의 강인한 다항시간 MDP 알고리즘은 고정 할인 계수에만 적용되었으며, 강건 모델에 대한 확장은 없었다. Hansen et al.(2013)은 턴‑베이스드 확률 게임에 대해 강인한 다항시간을 보였지만, 그들의 변환은 (s, a)‑직사각형 RMDP를 다루지 못하고, L∞ 집합에 대해서는 차원 폭발(코너 액션 수가 지수적으로 증가) 문제가 있었다. Behzadian et al.(2021)은 폴리노미얼 타임을 주장했지만, 실제로는 비트‑길이에 의존하는 복잡도가 남아 있었다. 본 논문은 이러한 한계를 모두 극복하고, 고정 할인 계수 하에서 (s, a)‑직사각형 L∞ 강건 MDP에 대해 진정한 강인한 다항시간 정책 반복을 제공한다는 점에서 이론적·실용적 의미가 크다.