역피셔 랭크1 근사로 빠른 자연 정책 경사

초록

본 논문은 자연 정책 경사(NPG)에서 필수적인 피셔 정보 행렬(FIM)의 역을 계산할 때, 샤먼‑모리슨 공식으로 얻은 랭크‑1 근사를 이용해 O(d) 시간·메모리 복잡도로 구현하는 방법을 제안한다. 이 방법은 이론적으로 전역 수렴을 보장하고, 샘플 복잡도 측면에서 기존 확률적 정책 경사와 동등하거나 더 우수함을 증명한다. 실험에서는 OpenAI Gym의 고전 제어와 MuJoCo 환경에서 기존 Actor‑Critic, TRPO, PPO 대비 빠른 수렴과 높은 최종 성능을 기록한다.

상세 분석

논문은 먼저 자연 정책 경사(NPG)의 핵심인 피셔 정보 행렬(FIM)의 역연산이 고차원 파라미터 공간에서 O(d³) 비용을 초래한다는 문제점을 지적한다. 이를 해결하기 위해 저자들은 경험적 피셔(EF)를 사용하고, 매 iteration마다 현재 배치에서 추출한 단일 그라디언트 외적을 이용해 λI와의 합으로 구성된 랭크‑1 업데이트 형태의 행렬 ˆFₖ=λI+∇θlogπθ(aₖ|sₖ)∇θlogπθ(aₖ|sₖ)ᵀ 를 만든다. 샤먼‑모리슨(Sherman‑Morrison) 공식은 기존 역행렬 ˆFₖ₋₁⁻¹가 알려진 경우, 새로운 ˆFₖ⁻¹를 세 개의 벡터 연산만으로 계산하도록 해 O(d) 연산량을 확보한다. 이때 λ는 수치적 안정성을 위한 댐핑 파라미터이며, 실제 구현에서는 λI와 외적 행렬의 스칼라 트레이스 term을 이용해 간단히 역을 구한다.

이러한 랭크‑1 근사는 “현재 그라디언트 방향만을 반영한 로컬 커브처”를 포착한다는 점에서, 전체 피셔 행렬을 근사하는 K‑FAC이나 블록‑대각선 방식보다 정확도는 떨어질 수 있지만, 메모리와 연산 비용이 크게 감소한다. 저자들은 이 근사가 정책 파라미터가 로그‑선형 형태일 때 전역 수렴을 보장한다는 정리를 제시한다. 구체적으로, Lipschitz 연속성 가정과 정책 그라디언트 분산 σ², 할인율 γ, 어드밴티지 추정 편향 εᵇᶦᵃˢ 등을 포함한 상수들을 이용해 J(π*)−E