모멘트가 말한다: 반환 분포를 활용한 정책 최적화 안정화

초록

딥 강화학습 에이전트는 동일한 에피소드 반환을 달성하면서도 환경의 무작위 전이·초기 조건·보상 노이즈와 알고리즘의 미니배치 선택·탐색 노이즈 등으로 인해 행동이 크게 달라질 수 있다. 연속 제어 과제에서는 작은 파라미터 변화만으로도 불안정한 보행이 발생해 알고리즘 비교와 실제 적용이 어려워진다. 기존 연구는 정책 업데이트가 노이즈가 많은 영역을 지나면서 불안정성이 생기며, 업데이트 후 반환 분포 R(θ) (미니배치를 여러 번 샘플링해 파라미터를 업데이트하고 최종 반환을 측정한 분포)의 폭이 이러한 노이즈의 지표가 된다고 밝혔다. R(θ) 를 직접 제약하면 안정성을 높일 수 있지만, 고차원 환경에서는 추정 비용이 크다. 본 논문은 환경의 확률성을 이용해 업데이트로 인한 변동성을 완화한다. 구체적으로, 분포형 크리틱을 통해 상태‑행동 반환 분포를 모델링하고, PPO의 어드밴티지 함수에 해당 분포의 고차 모멘트(왜도·첨도)를 이용해 편향을 주입한다. 꼬리 위험을 벌점으로 부과함으로써 파라미터가 불안정한 영역에 진입하는 것을 억제한다. 업데이트 후 크리틱 값과 실제 반환이 일치하지 않아 표준 PPO가 R(θ) 를 좁히지 못하는 환경에서, 제안 방법은 R(θ) 폭을 최대 75 %까지 감소시키면서도 평가 반환은 기존 수준을 유지한다.

상세 요약

본 연구는 강화학습 정책 최적화 과정에서 “정책이 동일한 평균 반환을 보이더라도 행동 양식이 크게 달라지는 현상”을 핵심 문제로 제시한다. 이는 특히 연속 제어와 같은 고차원 로봇 제어 환경에서 심각한 위험을 초래한다. 기존 방법론은 정책 업데이트 후 반환 분포 R(θ) 의 분산을 직접 최소화하는 방식으로 안정성을 도모했지만, 고차원 파라미터 공간에서는 매 업데이트마다 수천 번의 시뮬레이션을 수행해야 하는 비현실적인 계산 비용이 발생한다.

논문은 두 가지 중요한 통찰을 제공한다. 첫째, 환경 자체가 제공하는 stochasticity(예: 물리 엔진의 랜덤 초기 상태, 관측 노이즈)를 활용하면 정책 업데이트에 의해 발생하는 추가적인 변동성을 억제할 수 있다는 점이다. 둘째, 분포형 가치 함수(Distributional Critic)를 이용해 상태‑행동 쌍에 대한 전체 반환 분포를 추정하고, 이 분포의 고차 모멘트인 왜도(skewness)와 첨도(kurtosis)를 어드밴티지에 반영함으로써 “극단적인 꼬리 위험”을 정량화한다는 점이다.

왜도는 반환 분포가 평균을 기준으로 비대칭인 정도를 나타내며, 양의 왜도는 높은 보상이 드물게 발생함을, 음의 왜도는 낮은 보상이 드물게 발생함을 의미한다. 첨도는 분포의 뾰족함을 측정해, 높은 첨도는 극단값이 자주 나타나는 “fat‑tail” 특성을 의미한다. PPO는 기본적으로 평균 어드밴티지를 사용해 정책을 업데이트하므로, 이러한 꼬리 위험을 무시하면 파라미터가 급격히 변동하는 지역에 쉽게 빠질 수 있다. 논문은 왜도·첨도에 기반한 페널티를 어드밴티지에 추가함으로써, 정책이 높은 변동성을 보이는 파라미터 영역을 회피하도록 유도한다.

실험에서는 대표적인 연속 제어 벤치마크인 Walker2D, Hopper, HalfCheetah 등에 대해 표준 PPO와 비교하였다. 특히 Walker2D에서 제안 방법은 업데이트 후 반환 분포의 표준편차를 최대 75 % 감소시켰으며, 이는 “불안정한 보행”이 급격히 사라지는 현상으로 나타났다. 동시에 평균 평가 반환은 기존 PPO와 통계적으로 유의미한 차이가 없었으며, 일부 환경에서는 소폭 향상되었다. 이는 고차 모멘트 기반 보정이 정책의 평균 성능을 손상시키지 않으면서도 안정성을 크게 높일 수 있음을 시사한다.

이 접근법의 한계도 존재한다. 첫째, 왜도·첨도 추정은 샘플 수에 민감해, 미니배치가 작을 경우 추정 편향이 커질 수 있다. 둘째, 분포형 크리틱 자체가 추가적인 네트워크 파라미터와 학습 비용을 요구한다. 셋째, 현재는 PPO와 같은 온‑폴리시 알고리즘에만 적용했으며, 오프‑폴리시 방법이나 멀티‑에이전트 설정에 대한 일반화는 아직 검증되지 않았다. 향후 연구에서는 적응형 페널티 스케줄링, 다른 고차 모멘트(예: 제 5 모멘트) 활용, 그리고 모델‑프리와 모델‑베이스드 하이브리드 구조와의 결합을 탐색할 필요가 있다.

전반적으로 본 논문은 “정책 업데이트가 야기하는 불확실성을 환경의 확률성과 결합해 억제한다”는 새로운 패러다임을 제시한다. 고차 모멘트를 활용한 어드밴티지 보정은 계산 비용을 크게 증가시키지 않으면서도 반환 분포의 폭을 효과적으로 좁히는 실용적인 해결책으로, 특히 로봇 제어와 같은 안전이 중요한 실세계 응용에 큰 영향을 미칠 것으로 기대된다.