정책 경사 추정기의 비균일 잡음신호 비율 분석

초록

본 논문은 REINFORCE 정책‑그라디언트 추정기의 잡음‑신호 비율(NSR)을 정확히 계산하고, 선형·다항·비선형 시스템에서 NSR이 정책 파라미터에 따라 크게 변동하며 최적점에 접근할수록 급격히 증가한다는 사실을 밝혀낸다.

상세 분석

본 연구는 REINFORCE 추정기의 분산을 “잡음‑신호 비율”(NSR)이라는 정량적 지표로 정의하고, 이를 다양한 시스템 클래스에서 정확히 분석한다. 첫 번째 주요 결과는 유한‑시간 선형 시스템(LQG)에서 정책이 선형 피드백 K와 대각 공분산 Σ를 가질 때, NSR을 폐쇄형 식으로 표현할 수 있다는 점이다. 특히, 한 단계 LQG의 경우 IS(·) 기호를 이용해 Gaussian 4차·6차 모멘트를 전개함으로써 분산과 평균 그라디언트의 스케일을 σ(정책 표준편차)와 σ₀(초기 상태 공분산)에 대한 함수 형태로 도출한다. 이 식은 σ가 작아질수록(정책이 결정론적으로 변할수록) NSR이 σ₀²/σ² 정도로 선형적으로 증가함을 보여준다. 즉, 탐색을 줄이면 잡음이 급증해 학습이 불안정해지는 메커니즘을 수학적으로 설명한다.

다음으로 다단계 선형 시스템을 “lifted” 형태로 변환해 블록 삼각 행렬 Fₛ, Fₑ 등을 정의하고, 전체 수식을 하나의 1‑step quadratic 형태로 압축한다. 이를 통해 다단계 시스템에서도 정확한 분산 계산이 가능함을 증명하고, 상한을 이용해 NSR이 시간 지평선 T와 시스템의 안정성(특히 F=A+BK의 스펙트럼 반경)과 어떻게 연관되는지를 분석한다. 불안정한 폐쇄‑루프(ρ(F)>1)에서는 NSR이 지수적으로 성장한다는 결과는 정책‑그라디언트가 불안정한 동역학에 민감함을 강조한다.

다항 시스템에 대해서는 Gaussian moment‑evaluation을 다항 형태로 확장한다. 다항 피드백과 다항 상태 전이식이 주어지면, 동일한 IS 연산자를 사용해 고차 모멘트를 정확히 계산할 수 있다. 이는 비선형 시스템에서도 NSR을 수치적으로 평가할 수 있는 일반적인 프레임워크를 제공한다.

마지막으로 완전 비선형·신경망 정책에 대해서는 분산의 상한을 제시한다. 여기서는 Lipschitz 연속성 및 정책 파라미터의 유한 차원성을 가정해, ∥∇θlogπ∥²의 기대값을 제한함으로써 전체 분산을 Σ⁻¹·trace(·) 형태의 상한으로 묶는다. 이 상한은 정책이 더 결정론적으로 변할수록(Σ→0) 무한대로 발산함을 시사한다.

실험에서는 이론적 예측을 검증하기 위해 이중 적분기(double‑integrator)와 다항 제어 예제를 사용했다. NSR 지형을 시각화한 결과, 정책 파라미터 공간에서 NSR이 매우 비균일하게 분포하고, 최적 정책 근처에서 급격히 상승한다는 현상이 관찰되었다. 또한 SGD와 Adam 같은 최적화 알고리즘을 적용했을 때, SGD는 높은 NSR 구역에서 수렴이 지연되거나 발산하는 반면, Adam은 모멘텀 효과로 인해 “정책 붕괴”(Σ→0) 현상을 보였다.

이러한 분석은 기존의 “분산이 일정하게 bounded”라는 가정이 실제 RL 환경에서는 성립하지 않을 수 있음을 경고한다. 특히, REINFORCE와 같은 무보정 추정기는 정책이 최적에 가까워질수록 잡음이 급증해 학습 효율을 크게 저하시킬 위험이 있다. 따라서 정책‑그라디언트 방법에 대한 새로운 variance‑reduction 기법(예: 적응형 베이스라인, 정책‑공분산 스케줄링)이나, NSR을 직접 모니터링하는 메타‑학습 전략이 필요함을 시사한다.