중첩 기하학 기반 신뢰 영역, 정책 최적화의 새로운 패러다임

초록

본 논문은 기존 KL‑기반 신뢰 영역이 평균 발산만을 제어해 희귀하지만 큰 중요도 비율(리스크) 폭발을 막지 못한다는 문제를 지적한다. 이를 해결하기 위해 Bhattacharyya 계수를 이용한 ‘중첩 기하학’ 신뢰 영역을 제안하고, 이를 기반으로 BPPO와 BTRPO 알고리즘을 설계한다. 실험 결과, 제안 방법은 동일한 학습 예산 하에서 기존 PPO/TRPO 대비 안정성과 전체 성능이 향상됨을 보여준다.

상세 분석

이 논문은 강화학습에서 정책 업데이트 시 발생하는 ‘희귀한 대폭발’ 현상을 근본적으로 재해석한다. 기존 TRPO·PPO는 Kullback‑Leibler(KL) 발산을 신뢰 영역으로 사용하지만, KL는 평균 로그밀도 차이만을 제한하므로 확률 비율 r(s,a)=πθ(a|s)/πold(a|s)의 꼬리 부분이 크게 튀는 상황을 억제하지 못한다. 이러한 꼬리 폭발은 중요도 가중치의 분산을 급격히 증가시켜 그라디언트 추정에 큰 노이즈를 유발하고, 결국 학습이 조기에 수축(shrinkage)되는 원인이 된다. PPO는 r을 직접 클리핑함으로써 경험적으로 완화했지만, 이는 기하학적 근거가 약하고 비대칭적인 손실을 만든다.

저자들은 확률 밀도의 제곱근 ψθ(a|s)=√πθ(a|s) 로 정책을 재표현함으로써 L2 힐베르트 공간의 단위 구면 위에 매핑한다. 이 공간에서 두 정책의 내적 ⟨ψθ,ψθ′⟩ 은 Bhattacharyya 계수(BC)이며, ρs(θ,θ′)=∫√πθπθ′ da 로 정의된다. BC는 0≤ρ≤1 로 정규화된 겹침 정도를 직접 측정하고, 1−ρ는 제곱헬링거 거리(Hellinger distance)와 동일하다. 중요한 점은 BC의 2차 테일러 전개가 KL과 동일한 Fisher 정보 행렬을 계수로 갖는다는 점이다. 즉, 작은 업데이트에서는 BC 기반 신뢰 영역이 KL 기반과 동등한 로컬 기하학을 제공하면서도, 큰 변동에서는 비대칭적인 꼬리 제어가 가능하다.

구현 측면에서는 r의 제곱근 q=√r=exp(Δ/2) 를 도입한다. q는 1을 중심으로 대칭적이며, q가 1에서 멀어질수록 r은 제곱적으로 커진다. 따라서 q에 대한 클리핑(또는 2차 패널티)만으로도 r의 극단값을 효과적으로 억제한다. 논문은 이를 기반으로 두 알고리즘을 만든다. BPPO는 PPO와 동일한 구조를 유지하되, 기존의 r 클리핑 대신 q∈