확장형 오프‑정책 PPO: 안정성과 샘플 효율을 동시에 잡다

초록

ExO‑PPO는 기존 PPO의 온‑정책 안정성을 유지하면서, 과거 M 개의 정책을 재활용하는 오프‑정책 샘플링과 새로운 지수형 클리핑 기법을 도입해 샘플 효율성을 크게 향상시킨 알고리즘이다. 이론적 개선을 위한 확장형 오프‑정책 개선 하한을 증명하고, Atari와 MuJoCo 등 다양한 벤치마크에서 PPO 및 최신 변형들을 능가한다.

상세 분석

ExO‑PPO는 두 가지 핵심 아이디어를 결합한다. 첫째, 기존 PPO가 현재 정책 π_t 와 그 정책으로 생성된 데이터만을 사용해 클리핑된 비율 r_t(θ)=π_θ(a|s)/π_{t}(a|s) 를 최적화하는 반면, 논문은 과거 M 개의 정책 π_{t‑i} (i=1…M) 을 리플레이 버퍼에 저장하고, 이들을 “참조 정책” π_ref 으로 삼아 기대값 형태의 확장 오프‑정책 개선 하한(Extended Off‑Policy Improvement Lower Bound)을 도출한다. Lemma 2는 J(π)−J(π_ref) ≥ (1/(1−γ)) E_{(s,a)∼π_ref}