분포적 강건 평균보상 강화학습의 샘플 복잡도 분석

초록

본 논문은 평균보상 기준의 강화학습에서 분포적 강건성을 확보하기 위한 두 가지 알고리즘을 제안하고, 명시적인 샘플 복잡도 한계를 제공한다. 균일하게 에르고딕한 명목 MDP를 가정하고, KL·(f_k) 발산 기반 불확실성 집합을 고려할 때, 제안 알고리즘은 (\widetilde{O}\big(|\mathcal{S}||\mathcal{A}|,t_{\text{mix}}^{2}\varepsilon^{-2}\big)) 의 샘플 복잡도로 최적 정책과 강건 평균보상을 (\varepsilon) 정확도로 추정한다. 이는 평균보상 DR‑RL 분야에서 최초의 유한표본 수렴 보장이다.

상세 분석

이 연구는 평균보상 강화학습(average‑reward RL)이라는 장기 성능 최적화 문제에 분포적 강건성(distributional robustness)을 도입함으로써, 실제 시스템에서 발생할 수 있는 모델 불확실성에 대한 내성을 확보한다는 점에서 의미가 크다. 기존 연구는 주로 할인보상 또는 유한 horizon 설정에 집중했으며, 평균보상 상황에서는 샘플 복잡도 분석이 거의 이루어지지 않았다. 논문은 두 가지 알고리즘을 설계한다. 첫 번째는 강건 할인‑MDP(DR‑DMDP)로의 변환을 이용하는 방법으로, 할인계수 (\gamma)를 적절히 선택해 통계적 오차와 알고리즘적 편향 사이의 트레이드오프를 조절한다. 두 번째는 ‘앵커링(anchoring)’ 상태를 도입해 모든 정책에 대해 전이 커널을 일정 확률로 고정 상태로 되돌리는 구조를 만든다. 이 앵커링은 불확실성 집합 내의 모든 전이 행렬이 유니체인(unichain) 혹은 균일 에르고딕성을 유지하도록 보장한다는 점에서 핵심적인 설계 아이디어다.

이론적 분석은 명목 MDP가 균일 에르고딕(Uniformly Ergodic)하다는 가정 하에 진행된다. 균일 에르고딕성은 모든 정책에 대해 동일한 mixing time (t_{\text{mix}})을 갖는다는 의미이며, 이는 샘플 복잡도에 직접적으로 등장한다. 논문은 KL 발산 및 일반적인 (f_k) 발산(특히 (\chi^2) 발산 포함) 기반의 불확실성 반경 (\delta)가 충분히 작을 때, 두 알고리즘 모두 최적 정책과 강건 평균보상을 (\varepsilon) 정확도로 복원하는 데 필요한 샘플 수가 (\widetilde{O}\big(|\mathcal{S}||\mathcal{A}|,t_{\text{mix}}^{2}\varepsilon^{-2}\big)) 라는 상한을 만족함을 증명한다. 여기서 (\widetilde{O})는 로그 항을 무시한 표기이며, (|\mathcal{S}|)와 (|\mathcal{A}|)는 각각 상태·행동 공간의 크기이다. 이 복잡도는 기존 평균보상 RL에서 알려진 최적 의존도 (|\mathcal{S}||\mathcal{A}|\varepsilon^{-2})에 mixing time 제곱을 곱한 형태로, 강건성을 추가했음에도 불구하고 차원과 정확도에 대한 최적 의존도를 유지한다는 점에서 뛰어나다.

또한, 논문은 불확실성 집합이 전이 커널을 비유니체인으로 만들 수 있는 문제를 구조적 조건을 통해 해결한다. 구체적으로, 모든 전이 행렬이 동일한 Doeblin 마이너라이제이션 조건을 만족하도록 제한함으로써, 강건 MDP 전체가 동일한 mixing time 상한을 공유하게 만든다. 이는 기존 DR‑MDP 문헌에서 흔히 간과되는 ‘정책마다 다른 안정성’ 문제를 일관되게 다루는 새로운 접근법이다.

알고리즘 구현 측면에서는, 두 방법 모두 모델‑프리 혹은 모델‑베이스 설정에서 샘플을 수집하는 ‘generative model’ 가정 하에 동작한다. 특히 앵커링 알고리즘은 사전 지식 없이도 (t_{\text{mix}})를 추정하거나 직접 사용할 필요 없이, 앵커링 파라미터만으로 동일한 샘플 복잡도 보장을 얻는다. 실험에서는 로봇 제어, 재고 관리, 의료 스케줄링 등 실제 응용 시나리오를 모사한 환경에서, 제안 알고리즘이 기존 DR‑DMDP 기반 방법보다 빠르게 수렴하고, 불확실성 반경이 커져도 안정적인 평균보상을 유지함을 확인한다.

요약하면, 이 논문은 평균보상 강화학습에 강건성을 도입하면서도, 샘플 효율성을 크게 희생하지 않는 이론적·실험적 근거를 제공한다. 균일 에르고딕성, Doeblin 마이너라이제이션, 앵커링 상태라는 세 가지 핵심 개념을 결합해, DR‑RL 분야에서 최초로 평균보상 설정에 대한 최소 샘플 복잡도 상한을 제시한 점이 가장 큰 공헌이라 할 수 있다.