RL조정 언어 모델의 에너지 기반 이론적 분석

초록

본 논문은 KL‑정규화 강화학습으로 튜닝된 대형 언어 모델을 에너지 기반 모델(EBM) 형태로 재해석하고, 명령 튜닝 모델과 검증 가능한 보상(RLVR) 기반 추론 모델 각각에 대해 상세한 수학적 특성을 증명한다. 명령 튜닝에서는 전이 커널이 잠재적 스칼라 포텐셜에 대해 상세 균형(detailed balance)을 만족함을 보이며, 이는 KL 발산의 단조 감소, 유한한 히팅 타임, 스펙트럼 갭에 의한 지수 혼합 속도를 보장한다. RLVR에서는 목표 추론 분포에 대한 기대 KL 최소화와 자연 기울기 흐름 상에서 베르누이 KL 형태의 서브옵티멀리티 갭을 도출해 엔트로피‑정확도 트레이드오프를 설명한다.

상세 분석

논문은 먼저 KL‑정규화 강화학습의 최적 정책이 (\pi^{*}(y|x)=\frac{1}{Z(x)}\pi_{\text{ref}}(y|x)\exp\big(\frac{1}{\beta}r(x,y)\big)) 형태의 조건부 에너지 기반 모델임을 명시한다. 이 식은 보상이 에너지(음의 스칼라) 역할을 하고, 사전 학습된 레퍼런스 모델이 기본 측정(base measure)임을 보여준다.

명령 튜닝 모델에 대해서는 두 가지 핵심 가정을 둔다. 첫째, 보상이 전이 잠재 (h)의 차이 형태 (r(f,g)=h(g)-h(f)) 로 표현될 수 있다는 잠재 보상 구조(Assumption 4.1). 둘째, 사전 모델의 전이 확률 로그 비율이 데이터 마진의 차이와 동일하다는 대칭성 가정(Assumption 4.2). 이 두 가정 하에 전이 커널 (T(g|f)=\pi_{\text{inst}}(g|f)) 은 (\log\frac{T(g|f)}{T(f|g)}=V(f)-V(g)) 를 만족하는 포텐셜 (V) 를 정의할 수 있다. 이는 곧 곱형 상세 균형 (;T(g|f)T(f|g)=\exp\big(V(f)-V(g)\big)) 로 해석된다.

상세 균형을 이용해 정리 4.5는 KL 발산이 시간에 따라 비증가함을 Jensen 부등식과 마스터 방정식을 통해 증명한다. 따라서 상태 분포 (P_t) 는 고정점 (\pi(s)\propto e^{-V(s)}) 로 수렴한다. 정리 4.6은 정류 상태에서의 전위 평균 드리프트가 0임을 보여, 모델이 낮은 포텐셜(즉, 높은 품질) 영역에 머무른다는 직관을 수학적으로 뒷받침한다.

정리 4.7은 포텐셜 감소 하한 (\Delta(f)\le -\gamma) 가 존재할 때, 목표 집합 (B={x:V(x)\le b}) 로의 기대 히팅 타임이 (\mathbb{E}