라그랑주를 활용한 확산 모델 기반 안전 강화학습 가이드

초록

본 논문은 안전 제약을 갖는 강화학습에서 확산 모델을 이용한 정책 표현의 한계를 극복하기 위해, 라그랑주 함수를 에너지로 해석하고 이를 지역적으로 볼록화하는 증강 라그랑주(augmented Lagrangian)를 도입한 ALGD 알고리즘을 제안한다. 증강 라그랑주가 에너지 지형을 안정화시켜 정책 생성과 학습의 발산을 방지하면서도 최적 정책 분포는 보존한다는 이론적·실험적 결과를 제시한다.

상세 분석

본 연구는 안전 강화학습(safe RL) 문제를 확산 모델(diffusion model)과 에너지 기반 모델(energy‑based model) 관점에서 재구성한다. 기존의 프라임‑듀얼(primal‑dual) 방법은 라그랑주 승수 λ를 통해 제약을 완화하지만, λ와 비용 함수 Qᶜ의 추정 오차가 비선형·비볼록 구조를 만들어 학습 초기에 정책이 불안정하게 진동한다는 근본적인 한계를 가지고 있다. 논문은 라그랑주 L(s,a,λ)=−Q(s,a)+λ·(Qᶜ(s,a)−h) 를 에너지 함수로 해석하고, 역확산(reverse diffusion) 과정에서 스코어 함수 ϕ(s,a,τ)가 ∇ₐL에 의해 직접 결정된다고 증명한다(정리 3.1). 그러나 ∇ₐL은 Q와 Qᶜ의 자동미분 결과이며, 이들 값은 초기 단계에서 고노이즈·비볼록성을 띠어 스코어 필드가 급격히 변동하고, λ의 업데이트 역시 비용 추정 오차에 민감해 에너지 지형이 급격히 뒤틀린다. 결과적으로 확산 과정이 목표 볼츠만 분포(π∝exp(−L/β))를 제대로 추정하지 못하고, 안전 제약 위반이 빈번해진다.

이를 해결하기 위해 논문은 고전적인 증강 라그랑주(augmented Lagrangian) 기법을 도입한다. 구체적으로
L_A(s,a,λ)=−Q(s,a)+