효율적인 알고리즘으로 강건 마코프 결정 과정의 s 직사각형 불확실성 집합 해결

초록

본 논문은 상태별(s‑직사각형) 불확실성 집합을 갖는 강건 마코프 결정 과정(Robust MDP)의 베벨 연산을 단순한 투사 문제로 전환하고, 1‑노름·2‑노름 및 ϕ‑다이버전스 기반 집합에 대해 각각 정확·근사 해법을 제시한다. 제안 알고리즘은 기존 상용 솔버 대비 수십 배 빠르며, 클래식 MDP와 거의 동일한 로그 수준의 복잡도로 확장성을 입증한다.

상세 분석

이 연구는 강건 MDP의 두 가지 주요 불확실성 구조인 (s,a)‑직사각형과 s‑직사각형을 비교하면서, 후자가 정책의 무작위화 가능성을 허용하지만 여전히 동적 계획법(DP) 구조를 유지한다는 점에 주목한다. 저자들은 s‑직사각형 집합을 “상태별 예산 제약” 형태인 P_s = {p_s ∈ (Δ_S)^A : d_a(p_{sa},\bar p_{sa}) ≤ κ ∀a} 로 정의하고, d_a가 볼록·비음성·정체성 보장을 만족하는 일반적인 거리·다이버전스 함수임을 가정한다. 이러한 가정 하에, 베벨 연산의 내부 min‑max 문제는 각 상태 s에 대해 “가장 불리한 전이 확률”을 찾는 투사 문제로 축소된다.

투사 문제는 불확실성 집합의 구조에 따라 크게 달라진다. 1‑노름(ℓ₁) 집합의 경우, 최적 전이 확률은 원점에서의 L1 거리 제한을 만족하는 다각형의 꼭짓점 중 하나가 된다. 저자들은 이를 “기하학적 브레이크포인트 탐색” 알고리즘으로 해결했으며, 복잡도는 O(S·log S) 수준이다. 2‑노름(ℓ₂) 집합에서는 투사 문제가 구형(또는 타원형) 제약 하의 유클리드 거리 최소화 문제로 변환되며, 라그랑주 승수를 이용한 비선형 방정식 시스템을 뉴턴‑형식의 루트‑파인딩으로 풀어 O(S) 시간에 근사해를 얻는다.

ϕ‑다이버전스(예: Kullback‑Leibler, χ²) 집합은 일반적으로 볼록 최적화 형태이지만, 정확한 해를 구하면 복잡도가 급격히 증가한다. 저자들은 여기서 “근사 투사” 전략을 채택해, 다이버전스 함수의 쌍대 형태를 이용한 이중 문제를 단순한 스칼라 최적화로 변환한다. 이 과정에서 허용 오차 ε를 설정하면, 전체 베벨 연산의 수렴 속도와 정책 품질에 대한 이론적 보장을 제공한다.

복잡도 분석에서는 정확 해법이 각각 O(S·A·log S)·(ℓ₁)와 O(S·A)·(ℓ₂)이며, 근사 해법은 추가적인 로그·ε⁻¹ 항만을 포함한다는 점을 강조한다. 실험에서는 합성 데이터와 표준 벤치마크(예: GridWorld, 재고 관리)에서 제안 알고리즘이 Gurobi·CPLEX 기반 상용 솔버보다 10³10⁴ 배 빠르고, 기존 s‑직사각형 전용 알고리즘보다 25 배 효율적임을 입증한다. 또한, 상태·행동 수가 수천에 달하는 대규모 문제에서도 로그 수준의 시간 증가를 보이며, 전통적인 MDP와 거의 동일한 실행 시간을 기록한다.

이 논문의 핵심 기여는 (1) s‑직사각형 강건 MDP의 베벨 연산을 투사 문제로 일반화한 이론적 프레임워크, (2) ℓ₁·ℓ₂·ϕ‑다이버전스 각각에 특화된 정확·근사 해법, (3) 복잡도와 정확도에 대한 정량적 분석, (4) 광범위한 실험을 통한 실용성 검증이다. 특히, ℓ₁·ℓ₂ 집합에 대한 정확 해법은 기존 연구에서 제시된 1‑노름 전용 방법을 일반화하면서도 더 나은 시간 복잡도를 달성한다는 점에서 의미가 크다.