라그랑주 동역학을 이용한 직접 소프트 정책 샘플링

초록

본 논문은 소프트 정책을 구현하기 위해 행동‑Q 함수의 그래디언트를 이용한 라그랑주 동역학(Langevin Dynamics) 기반 샘플링 기법을 제안한다. 기본 라그랑주 Q‑Learning(LQL)은 파라미터화된 정책 없이 목표 볼츠만 분포에서 직접 행동을 추출하지만, 고차원·비볼록 Q‑landscape에서 혼합 속도가 느리다. 이를 해결하기 위해 다중 스케일 노이즈를 Q‑함수에 주입해 점진적으로 스무딩된 가치 지형을 학습하는 Noise‑Conditioned LQL(NC‑LQL)을 설계하였다. 실험 결과, MuJoCo 벤치마크에서 기존 diffusion‑기반 방법과 동등하거나 우수한 성능을 보이며, 구현 복잡도와 파라미터 수를 크게 줄였다.

상세 분석

이 논문은 소프트 정책 프레임워크를 “점수‑기반(score‑based)” 관점에서 재해석한다. 소프트 정책 π_soft(a|s)=exp(Q(s,a))/Z(s) 의 로그 미분, 즉 ∇a log π_soft(a|s)=∇a Q(s,a) 가 Q‑함수의 행동‑그라디언트와 동일하다는 사실을 이용한다. 이는 기존 생성 모델에서 필요로 하는 데이터‑기반 점수 추정 과정을 RL에서는 Q‑함수 자체가 제공하므로 생략할 수 있음을 의미한다. 따라서 라그랑주 동역학의 업데이트 a{t}=a{t‑1}+½ε∇a Q(s,a{t‑1})+√ε z_t 로 행동을 직접 샘플링하면, ε→0, T→∞ 일 때 목표 볼츠만 분포에 수렴한다.

하지만 라그랑주 샘플링은 로컬 그라디언트에만 의존하므로, 고차원 연속 액션 공간에서 다중 모드와 높은 에너지 장벽을 가진 Q‑landscape에서는 체인이 국소 최적점에 머무르는 “slow mixing” 문제가 발생한다. 이를 극복하기 위해 저자들은 노이즈‑조건화된 Q‑함수 Q_NC(s,ã,σ_i)를 정의한다. 여기서 ã는 σ_i 수준의 가우시안 노이즈가 추가된 행동이며, Q_NC는 해당 노이즈 수준에서 원래 Q‑함수의 기대값을 취한다. 큰 σ_i에서는 Q‑landscape가 크게 스무딩되어 전역적인 탐색이 용이해지고, σ_i를 점차 감소시키면서 원래의 정밀한 구조를 복원한다. 이 과정은 diffusion 모델에서 사용되는 다중 스케일 노이즈 스케줄과 유사하지만, 직접 가치 함수에 적용한다는 점에서 차별화된다.

NC‑LQL은 이렇게 정의된 Q_NC를 이용해 “Annealed Langevin Dynamics” 를 수행한다. 각 스케일 σ_i마다 적절한 학습률 α_i=ε·σ_i²/σ_L² 로 업데이트하고, 충분한 반복 T_i 를 거친 뒤 다음 스케일로 넘어간다. 결과적으로 초기에는 넓은 탐색을, 후반에는 미세한 모드 정제를 수행한다. 이 방식은 기존 LQL이 겪는 지역 최적점 함정을 완화하고, 샘플링 효율을 크게 향상시킨다.

실험에서는 OpenAI Gym MuJoCo 환경(Hopper, Walker2d, HalfCheetah 등)에서 NC‑LQL을 기존 diffusion‑기반 Soft‑Actor‑Critic(SAC) 변형 및 최신 Diffusion‑RL 방법들과 비교하였다. 성능 지표(average return)와 샘플 효율성 측면에서 NC‑LQL은 동등하거나 더 나은 결과를 보였으며, 정책 네트워크를 별도로 학습하지 않으므로 파라미터 수가 30~40% 감소하고 구현 파이프라인이 단순해졌다. 또한, Ablation 실험을 통해 노이즈 스케줄링, ε 값, T_i 반복 횟수 등이 성능에 미치는 영향을 정량화하였다.

이 논문의 주요 기여는 (1) 소프트 정책의 점수 함수를 Q‑함수 그라디언트와 직접 연결한 이론적 정당성, (2) 라그랑주 동역학을 이용한 액터‑프리 RL 프레임워크(LQL) 제시, (3) 다중 스케일 노이즈를 가치 함수에 적용해 혼합 속도를 개선한 Noise‑Conditioned LQL(NC‑LQL) 설계, (4) 실험을 통한 경쟁력 입증이다. 한계점으로는 고차원 액션 공간에서 여전히 충분한 T_i 와 ε 튜닝이 필요하고, 노이즈 스케줄 설계가 도메인에 따라 민감할 수 있다는 점이다. 향후 연구는 자동화된 스케줄 학습, 비가우시안 노이즈 도입, 그리고 오프‑라인 RL 혹은 모델‑베이스드 RL과의 통합을 탐색할 여지가 있다.