양극 위험 최소화를 위한 정량적 그래디언트 강화

초록

본 논문은 기존 CVaR 정책 경사(CVaR‑PG)의 샘플 비효율성을 정량(VaR) 최적화와 결합해 개선한다. 정량 최적화는 동적 프로그래밍 형태를 갖추어 모든 샘플을 활용할 수 있으며, 이를 CVaR 목표에 기대값 형태로 삽입한다. 새로운 VaR 벨만 연산자를 기반으로 한 액터‑크리틱 알고리즘을 제안하고, 마코프 정책 클래스에 맞게 변형한다. 실험 결과, 제안 방법이 CVaR‑PG와 기존 위험 회피 기법들을 일관되게 능가함을 보인다.

상세 분석

CVaR‑PG는 위험 회피 강화학습에서 가장 널리 쓰이는 방법 중 하나이지만, α‑분위수 이하의 최악 α % 샘플만을 이용해 그래디언트를 추정한다는 근본적인 한계가 있다. 이로 인해 (1) 전체 샘플 중 1 − α 비율이 완전히 버려지고, (2) 성공적인(높은 보상) 궤적이 학습에 전혀 기여하지 못해 ‘성공에 대한 눈멀음(blindness to success)’ 현상이 발생한다. 또한 반환 분포가 평탄하거나 이산형일 경우 그래디언트가 0이 되는 소위 ‘그래디언트 소멸’ 문제가 빈번히 나타난다. 기존 연구들은 위험‑중립 보상 재가중치, 교차 엔트로피 기반 샘플링, 정책 혼합 등으로 샘플 효율성을 개선하려 했지만, 환경 제어가 필요하거나 최적 위험‑중립 정책과 위험‑회피 정책이 크게 겹치지 않을 때 성능이 제한적이었다.

논문은 이러한 문제를 “CVaR는 꼬리 구간의 VaR(정량) 기대값”이라는 사실에 착안해 해결한다. 정량 최적화는 VaRα