단일연쇄 평균보상 제한 MDP의 레지스트 분석과 일반 파라미터화

초록

본 논문은 단일연쇄(unichain) 구조를 갖는 평균보상 제한 마르코프 결정과정(CMDP)에서, 일반적인 정책·가치 함수 파라미터화를 허용하는 프라임-듀얼 자연배우-비평가 알고리즘을 제안한다. 다중레벨 몬테카를로(MLMC) 추정기와 로그 규모의 burn‑in 메커니즘을 도입해 전이 상태와 주기성을 포함한 환경에서도 혼합시간에 대한 사전 지식 없이 샘플 복잡도를 크게 줄인다. 이론적으로 제한 위반과 누적 레지스트가 모두 $\tilde O(\sqrt{T})$ 수준으로 수렴함을 증명하며, 기존 ergodic 가정에 의존하던 연구들을 일반 파라미터화와 전이 상태가 존재하는 경우까지 확장한다.

상세 분석

이 논문은 두 가지 핵심 난관을 해결한다. 첫 번째는 단일연쇄 MDP에서 전이 상태와 주기성을 허용하면서도 고차원 함수 근사(예: 신경망)로 정책을 표현할 수 있는가이다. 기존 연구는 대부분 ergodic 가정 하에 전체 상태가 재발(recurrent)하거나 빠른 mixing time을 전제로 했으며, 이는 전이 상태가 존재하면 깨진다. 저자들은 단일연쇄 가정만을 이용해, 모든 정책에 대해 하나의 재발 클래스만 존재한다는 사실을 활용한다. 이때 중요한 두 상수 $C_{\text{hit}}$와 $C_{\text{tar}}$를 정의해, 초기 상태가 재발 클래스에 도달하는 평균 시간과 재발 클래스 내에서의 평균 혼합 시간을 각각 정량화한다.

두 번째 난관은 제한된 샘플로 정확한 정책 그라디언트와 가치 함수(critic)를 추정해야 한다는 점이다. 이를 위해 저자들은 다중레벨 몬테카를로(MLMC) 추정기를 설계한다. 전통적인 평균 보상 추정은 $O(\sqrt{T})$ 샘플이 필요하지만, MLMC는 기하급수적으로 감소하는 레벨을 이용해 기대 샘플 수를 $O(\log T)$ 로 줄인다. Lemma 2와 Lemma 3은 단일연쇄 체인에 대한 편향·분산 경계를 $O(C_{\text{tar}}^2/T_{\max})$ 와 $O(C_{\text{tar}}^2\log T_{\max})$ 로 제시한다. 이는 mixing time에 대한 명시적 오라클이 없어도 정확한 추정이 가능함을 의미한다.

또한, 기존 단일연쇄 RL에서는 $O(\sqrt{T})$ 규모의 burn‑in을 요구했지만, 이는 제약 문제에서는 전체 복잡도를 $O(T^{3/2})$ 로 악화시킨다. 논문은 로그 규모 $B=O(\log T)$ 의 burn‑in이 충분함을 보인다. Lemma 4는 $B$가 충분히 크면 전이 상태에 머무는 확률이 지수적으로 감소하고, 따라서 전체 레지스트에 미치는 영향을 $O(T^{2- B/(2C_{\text{hit}})})$ 로 억제한다.

알고리즘은 프라임‑듀얼 구조를 채택한다. 라그랑주 함수 $L(\theta,\lambda)=J_r(\theta)+\lambda J_c(\theta)$ 를 최대‑최소 형태로 풀며, 자연 정책 그라디언트(NPG) 방향 $\omega^\ast_{\theta,g}=F_\theta^{-1}\nabla_\theta J_g(\theta)$ 를 MLMC 기반으로 추정한다. 여기서 $F_\theta$는 피셔 정보 행렬이며, compatible function approximation을 통해 $\omega$ 를 최소화 문제 (14) 로 변환한다. 듀얼 변수 $\lambda$는 투사 연산 $P_{