정적 스펙트럼 위험 측정으로 강화학습의 위험 민감성 향상

초록

본 논문은 분포 강화학습(DRL)에서 정적 스펙트럼 위험 측정(SRM)을 최적화하는 새로운 알고리즘(QR‑SRM)을 제안한다. 기존의 CVaR 기반 방법이 과도하게 보수적인 정책을 초래하고, 동적 위험 측정은 해석이 어려운 문제를 해결하기 위해, SRM을 이용해 시간 일관성을 유지하면서도 다양한 위험 선호를 표현한다. 알고리즘은 외부 최적화에서 SRM의 폐쇄형 해를 사용하고, 내부 최적화에서는 양자화 회귀(QR‑DQN)로 반환 분포를 추정한다. 수렴 증명과 실험을 통해 제안 방법이 위험‑중립 및 기존 위험‑민감 DRL보다 우수함을 입증한다.

상세 분석

이 논문은 위험‑민감 강화학습에서 “정적” 위험 측정과 “동적” 위험 측정 사이의 근본적인 딜레마를 명확히 짚어낸다. 정적 위험 측정은 에피소드 전체의 반환에 대해 위험을 평가하므로 정책 해석이 직관적이며, 시간 일관성(time‑consistency) 문제를 피할 수 있다. 반면 기존 DRL 연구들은 매 시점마다 고정된 위험 측정(CVaR 등)을 적용해 정책을 선택했으며, 이는 상태마다 서로 다른 위험 기준을 적용하게 만들어 전체 정책이 비최적화되는 시간 불일치 현상을 초래한다. 논문은 이러한 문제를 해결하기 위해 스펙트럼 위험 측정(SRM)을 도입한다. SRM은 위험 스펙트럼 ϕ(u) 에 따라 CVaR을 연속적으로 가중합한 형태이며, ϕ가 비증가하고 정규화된 함수이면 SRM은 완전한 코히런트 위험 측정이다.

핵심 이론적 기여는 두 단계 최적화 구조에 있다. 외부 최적화에서는 SRM의 듀얼 표현(식 5)과 ϕ가 미분 가능할 경우 얻어지는 폐쇄형 해(식 6)를 이용해 최적 함수 h* 를 직접 계산한다. 이는 기존 연구에서 제시된 복잡한 전역 최적화와 달리, 반환 분포의 양자화 추정치만으로 h* 를 구할 수 있게 해 계산 비용을 크게 낮춘다. 내부 최적화는 강화학습의 전통적인 Bellman 연산을 확장한 분포형 Bellman 연산 T_G^h 에 기반한다. 여기서 h 가 고정된 상태에서 T_G^h 는 반환 분포 η에 대해 수축성을 가지며, 양자화 회귀(QR‑DQN)와 같은 기존 DRL 기법을 그대로 적용해 수렴을 보장한다.

또한 논문은 SRM의 Kusuoka 표현(식 4)을 이용해 시간에 따라 변하는 “중간 위험 측정”을 정의한다. 분포형 가치 함수가 제공하는 각 상태‑행동 쌍의 양자화값을 통해 최적 듀얼 변수 ξ_α^t 를 계산하고, 이를 기반으로 시점 t 에서의 가중 CVaR α_t 와 가중치 μ(α) 를 재구성한다. 이렇게 얻은 중간 위험 측정은 정책이 에피소드 진행 중에 어떻게 위험 선호를 조정하는지를 명시적으로 보여 주어, 정책 해석성을 크게 향상시킨다.

실험 부분에서는 연속 제어(마운틴카), 재무 포트폴리오 관리, 로봇 팔 제어 등 세 가지 도메인에서 QR‑SRM을 기존 CVaR‑DQN, 위험‑중립 DQN, 그리고 최신 위험‑민감 DRL(예: Distortion‑RL)과 비교한다. 결과는 SRM 파라미터 ϕ 를 조절함에 따라 위험 회피 정도를 부드럽게 조정할 수 있음을 보여 주며, 특히 평균‑CVaR(ϕ = (1‑λ)·1 + λ·1/α·1_