분산 감소 경험 재생을 활용한 정책 최적화

초록

본 논문은 정책 경사법에 경험 재생(Experience Replay)을 적용할 때, 모든 과거 데이터를 동일하게 사용하면 발생하는 높은 분산 문제를 해결하고자 한다. 저자들은 정보량이 높은 샘플만 선택적으로 재사용하는 “Variance Reduction Experience Replay(VRER)” 프레임워크를 제안하고, 이를 기존 정책 최적화 알고리즘에 결합한 PG‑VRER을 설계한다. 또한 마코프 연쇄와 행동‑정책 상호작용으로 인한 샘플 의존성을 명시적으로 모델링한 새로운 수렴 분석을 제공하여, 오래된 데이터를 재사용하면 편향이 증가하지만 분산이 감소한다는 근본적인 편향‑분산 트레이드오프를 이론적으로 증명한다. 실험 결과, VRER이 최신 정책 최적화 기법 대비 학습 속도와 최종 성능 모두에서 일관된 개선을 보인다.

상세 분석

VRER의 핵심 아이디어는 “샘플 선택 규칙”이다. 저자들은 각 스텝 기반 전이(s, a, s′)에 대해 현재 정책 πθ와 과거 행동 정책 πβ의 중요도 가중치 ρ(s,a)=πθ(a|s)/πβ(a|s)를 계산하고, ρ의 절대값이 일정 임계값 이하인 경우에만 해당 전이를 재사용한다. 이렇게 하면 행동 정책 간 차이가 크게 나는 오래된 샘플이 배제돼 중요도 가중치의 폭발을 방지하고, 분산이 크게 감소한다. 동시에, 재사용 가능한 샘플 수가 충분히 확보되도록 “버퍼 다운샘플링”과 “재사용 용량 제한”을 도입해 정책이 오래된 데이터에 과도하게 의존해 편향이 쌓이는 현상을 완화한다.

이론적 기여는 두 가지 측면에서 두드러진다. 첫째, 마코프 연쇄의 상태 전이 의존성을 고려한 새로운 확률적 분석 프레임워크를 구축한다. 기존 연구는 독립 샘플 가정을 사용하거나, 행동 정책이 고정된 상황만 다루었지만, 본 논문은 정책이 매 업데이트마다 변하는 동적 상황을 포함한다. 이를 위해 “Uniform Ergodicity” 가정 하에 시간‑t 상태 분포와 정 stationary 분포 간 차이를 ϕ(t)=κ0·κ^t 로 제한하고, 이 함수를 이용해 경험 재생으로 인한 편향을 상한한다.

둘째, 편향‑분산 트레이드오프를 정량화한다. 저자들은 전체 그라디언트 추정량을
(\hat{g}= \frac{1}{|U_k|}\sum_{(s,a)\in U_k}\rho_{i,k}(s,a) g(s,a|\theta_k)) 로 정의하고, 기대값과 분산을 각각
(E