강인한 MDP를 위한 효율적 알고리즘 에스 직사각형 및 비직사각형 불확실성에서 일반 정책 파라미터화

초록

본 논문은 일반 함수 형태의 정책 파라미터화를 허용하면서, s‑직사각형 및 비직사각형 불확실성 집합을 갖는 강인 마르코프 결정 과정(RMDP)을 효율적으로 해결하는 알고리즘을 제시한다. 평균 보상 문제를 엔트로피 정규화된 할인형 RMDP로 변환해 강한 쌍대성을 회복하고, 다중 수준 몬테카를로(MLMC) 그라디언트 추정기를 이용해 샘플 복잡도를 𝜀⁻² 수준으로 낮춘다. s‑직사각형 경우에는 투사 그라디언트 하강법으로 𝜀⁻⁵, 비직사각형 경우에는 프랭크‑와프 방식으로 할인형에서는 𝜀⁻⁴, 평균 보상에서는 𝜀⁻¹⁰·⁵의 샘플 복잡도를 달성한다. 이는 기존 연구보다 크게 개선된 결과이며, 평균 보상 설정에서 최초로 일반 정책 파라미터화에 대한 샘플 복잡도 보장을 제공한다.

상세 분석

이 논문은 강인 MDP(RMDP) 연구에서 두 가지 근본적인 한계를 동시에 해소한다. 첫째, 기존 대부분의 강인 강화학습 방법은 탭ular 혹은 (s,a)‑직사각형 형태의 불확실성 집합에만 적용 가능했으며, 연속·고차원 상태공간에서는 계산량이 폭발한다. 저자들은 정책을 일반적인 파라미터 θ∈Θ(예: 신경망)로 표현하고, 전통적인 “정책 → 최악 전이 → 정책” 순서를 뒤집어 직접 θ에 대한 그라디언트 기반 최적화를 수행한다. 이때 핵심은 평균 보상 문제를 엔트로피 정규화된 할인형 RMDP로 변환함으로써 Bellman 연산자의 수축성을 회복하고, 강한 쌍대성을 확보한다는 점이다. 엔트로피 정규화는 정책을 부드럽게 만들어 최악 전이의 과도한 편향을 완화하고, 수학적으로는 가치 함수가 γ‑수축성을 만족하도록 만든다.

두 번째 기여는 무한‑시간 그라디언트 추정의 효율성을 크게 높인 다중 수준 몬테카를로(MLMC) 추정기이다. 기존 TD‑기반 방법은 편향·분산을 동시에 줄이기 위해 𝜀⁻⁴ 수준의 샘플 복잡도가 필요했지만, MLMC는 여러 해상도의 시뮬레이션을 계층적으로 결합해 편향을 빠르게 감소시키고, 분산은 독립적인 샘플 평균으로 제어한다. 결과적으로 전체 샘플 복잡도가 𝜀⁻²(숨은 로그 항 포함)로 감소한다.

알고리즘 설계 측면에서는 두 종류의 불확실성 집합에 맞는 최적화 기법을 제시한다. s‑직사각형 집합은 각 상태별 전이 분포가 독립적이므로, 투사 그라디언트 하강법(PGD)을 적용해 최악 전이 파라미터 ξ에 대한 최소화를 수행한다. 이때 Lipschitz 및 L‑smoothness 상수를 상태 수에 의존하지 않게 정의함으로써 무한·연속 상태공간에서도 이론적 보장을 얻는다. 복합적인 비직사각형 집합은 상태 간 의존성이 존재해 전통적인 투사 연산이 비효율적이므로, 프랭크‑와프(FW) 알고리즘을 도입한다. FW는 선형 최적화 오라클만 필요하므로 복잡한 제약을 직접 투사할 필요가 없으며, 이 논문에서는 이를 통해 할인형에서는 𝜀⁻⁴, 평균 보상에서는 𝜀⁻¹⁰·⁵의 샘플 복잡도를 달성한다. 특히 평균 보상 경우는 최적 정책의 스팬 H에 비례하는 할인계수 γ=1−Θ(𝜀/H)를 선택해 할인형 문제를 풀고, 얻은 정책을 그대로 평균 보상 문제에 적용함으로써 강한 쌍대성을 회복한다.

또한 전이 커널을 선형 파라미터화(Pξ(s’|s,a)=⟨ϕ(s,a,s’),ξ⟩)하고, Wasserstein‑1 거리 기반의 모델 오차 ϵ_model을 가정함으로써, 실제 복잡한 전이 집합을 저차원 파라미터 집합 Ξ에 근사한다. 이 근사는 상태 수에 독립적인 Lipschitz 상수 L_V와 결합해 (ϵ,τ)‑Nash 균형 존재성을 보이고, τ=O(ϵ(1−γ))를 선택하면 전역 최적성을 확보한다.

전체적으로, 이 연구는 (1) 평균 보상 강인 MDP에서 강한 쌍대성을 복원하는 새로운 감소 기법, (2) 무한‑시간 그라디언트 추정의 샘플 효율성을 획기적으로 개선한 MLMC, (3) 일반 정책 파라미터화와 무한·연속 상태공간을 지원하는 Lipschitz/스무스 분석, (4) s‑직사각형과 비직사각형 각각에 최적화된 알고리즘 설계라는 네 축을 통해 기존 연구보다 월등히 낮은 샘플·시간 복잡도를 달성한다. 이는 로봇 제어, 자율 주행 등 고차원·연속 환경에서 강인 정책을 학습하려는 실무와 이론 모두에 큰 영향을 미칠 것으로 기대된다.