단일 시간 스케일 액터‑크리틱에 모멘텀을 도입한 최적 샘플 복잡도 달성

초록

본 논문은 무한히 긴 할인 마르코프 결정 과정에서 단일 시간 스케일 액터‑크리틱(AC) 알고리즘의 샘플 복잡도를 기존 O(ε⁻³)에서 이론적 하한인 O(ε⁻²)로 끌어올렸다. 핵심은 비정상적인 점유 측도에서 발생하는 분산을 억제하기 위해 STORM 기반 모멘텀과 최근 샘플만을 보관하는 버퍼를 결합한 것이다. 제안 기법은 기존 딥 RL 파이프라인에 최소한의 수정만으로 적용 가능하며, 전역 ε‑최적 정책을 획득하는 데 필요한 샘플 수를 최적 수준으로 감소시킨다.

상세 분석

이 연구는 강화학습 이론에서 가장 오래된 난제 중 하나인 “단일 시간 스케일 액터‑크리틱의 샘플 효율성”을 해결한다. 기존 작업들은 두 개의 시간 스케일을 이용하거나, 단일 스케일이라 하더라도 분산 제어가 부족해 O(ε⁻³) 수준의 복잡도만 달성했다. 저자들은 먼저 비정상적인 점유 측도—즉, 정책이 매 iteration마다 변하면서 샘플이 그에 따라 달라지는 상황—에서 발생하는 추가적인 분산을 정확히 정량화한다. 이를 위해 STORM(Stochastic Recursive Momentum) 알고리즘을 크리틱 업데이트에 도입한다. STORM은 전통적인 모멘텀의 편향 문제를 재귀적 보정항으로 해결해, 기대값이 정확히 실제 그라디언트와 일치하도록 만든다. 그러나 샘플이 정책 변화에 따라 비정상적으로 흐르기 때문에, 단순히 STORM만 적용해도 분산 감소 효과가 충분히 발휘되지 않는다.

이에 저자들은 “버퍼” 메커니즘을 설계한다. 전체 샘플 스트림 중 최신 c_b·k(0<c_b≤1) 비율만을 순환 버퍼에 저장하고, 매 크리틱 업데이트 시 이 버퍼에서 균일하게 하나의 샘플을 무작위로 선택한다. 이렇게 하면 과거 정책에 의해 생성된 샘플을 재활용함으로써 점유 측도의 변동성을 평균화하고, STORM의 분산 감소 효과와 시너지한다.

이중 분산 억제 메커니즘을 바탕으로 저자들은 새로운 Lyapunov 함수와 ODE‑tracking 프레임워크를 구축한다. 배우와 크리틱의 학습률을 각각 η_k, β_k = Θ(k⁻¹/²) 로 설정하고, STORM의 모멘텀 학습률 ν_k = Θ(k⁻¹) 로 맞춘다. 이때 학습률 스케줄이 서로 다른 차수로 감소함에도 불구하고, Lyapunov 분석을 통해 전체 시스템이 안정적으로 수렴함을 증명한다. 특히, 기존 연구에서 필요했던 η_k, β_k = Θ(k⁻²/³) 와 같은 빠른 감소를 피하면서도, 정책 그라디언트의 L‑smooth와 PL‑조건(Gradient Domination Lemma)을 활용해 E