이분법적 확산 정책 최적화

초록

DIPOLE은 KL‑정규화 목표를 기반으로, 보상 최대화와 최소화를 각각 담당하는 두 개의 안정적인 확산 정책을 학습하고, 이들을 선형 결합해 행동을 생성함으로써 훈련 안정성과 탐욕 제어를 동시에 달성한다.

상세 분석

본 논문은 확산 모델을 정책 네트워크로 활용할 때 발생하는 두 가지 핵심 문제—훈련 불안정성과 높은 연산 비용—를 정확히 짚어낸다. 기존 방법은 (1) 보상 혹은 가치 함수를 직접 미분해 다단계 디노이징 과정에 역전파하는 방식으로, 높은 변동성을 보이며 GPU 메모리와 시간 소모가 크다. (2) 가우시안 근사에 의존해 중간 단계의 로그우도만을 추정하는 방식은 작은 디노이징 스텝을 요구해 학습 효율을 크게 저하시킨다. 저자들은 이러한 한계를 극복하기 위해 KL‑정규화 RL 목표를 재해석한다. KL‑정규화는 “참조 정책 µ와의 거리”를 최소화하면서 보상 가중치를 적용하는 형태로, 최적 정책이 µ에 exp(β·G) 를 곱한 형태임을 보여준다. 여기서 β가 클수록 탐욕성이 강해지지만, 지수 함수의 급격한 성장으로 손실이 폭발하고 학습이 불안정해진다. 이를 해결하기 위해 저자들은 시그모이드 σ(·) 를 가중치 함수로 도입하고, 추가적인 탐욕 계수 ω를 도입한다. 최적 정책은 µ·σ(βG)·exp(ωβG) 로 표현되며, 이를 다시 σ와 1‑σ 로 분해하면 두 개의 “양극 정책(π⁺)”과 “음극 정책(π⁻)”으로 나뉜다. π⁺는 높은 보상 샘플에 큰 가중치를 부여해 보상 최대화를 학습하고, π⁻는 낮은 보상 샘플에 집중해 보상 최소화를 학습한다. 두 정책 모두 시그모이드 가중치이므로 값이 0과 1 사이에 제한돼 손실 폭발 위험이 사라진다. 또한 양·음 정책을 각각 독립적인 확산 모델로 학습함으로써, 좋은 샘플과 나쁜 샘플을 모두 활용해 데이터 효율성을 크게 높인다. 추론 단계에서는 π⁺와 π⁻의 스코어를 ω에 따라 비율적으로 결합해 행동을 샘플링한다. 이 과정은 기존 확산 모델에서 사용되는 “classifier‑free guidance”와 수학적으로 동일하며, ω를 조절함으로써 탐욕 수준을 연속적으로 제어할 수 있다. 실험에서는 Offline RL(ExORL)과 Offline‑to‑Online RL(OGBench) 모두에서 DIPOLE이 기존 최첨단 방법보다 높은 수렴 속도와 최종 성능을 보였으며, 대규모 비전‑언어‑액션 모델을 NAVSIM 자율주행 벤치마크에 적용해 사전 학습 기반 대비 현저한 개선을 달성했다. 전체적으로 DIPOLE은 복잡한 다단계 디노이징 과정을 그대로 유지하면서도, 수식적 변형을 통해 안정적인 학습과 유연한 정책 제어라는 두 마리 토끼를 잡은 혁신적인 프레임워크라 할 수 있다.