비볼록 f다이버전스로 강화된 DPO와 확장된 정렬 방법

초록

본 논문은 기존 DPO가 사용하던 KL 발산을 일반적인 f‑다이버전스로 대체하면서, f가 반드시 볼록일 필요가 없음을 보인다. 저자들은 “DPO‑inducing”이라는 새로운 조건을 제시해 RLHF 최적화가 해석적으로 풀릴 수 있는 f의 전체 클래스를 규정하고, 또 “displacement‑resistant” 조건을 통해 승자·패자 확률이 0으로 수렴하는 현상을 방지한다. 이 두 조건을 모두 만족하는 비볼록 함수 f(t)=½(log t)²를 선택해 SquaredPO 손실을 도입하고, 이론적 보장을 강화하면서도 실험적으로 기존 DPO와 경쟁력 있는 성능을 입증한다.

상세 분석

이 논문은 RLHF(인간 피드백을 통한 강화 학습)에서 정책 πθ 를 학습할 때, 기존 DPO가 KL‑다이버전스 β·KL(πθ‖πref) 를 정규화 항으로 사용한 점을 출발점으로 삼는다. KL은 f‑다이버전스의 특수 경우이며, f(t)=t log t 로 정의된다. 이전 연구(Wang 등, 2024)는 f가 볼록이고 미분 가능하며 f′ 가 전역 역함수를 가지는 경우에만 최적해가 닫힌 형태로 구해져 DPO‑like 손실 L_f‑DPO 로 변환될 수 있음을 보였다. 그러나 저자들은 이 볼록성 가정이 실제로는 필요 없으며, 더 일반적인 함수 클래스가 존재함을 증명한다.

핵심은 “DPO‑inducing” 정의이다. 함수 f가 DPO‑inducing 이면, (5)식의 일반화된 RLHF 목표를 풀어 얻은 최적 정책을 BT 모델(1)에 대입했을 때, 바로 (6)식의 f‑DPO 손실이 도출된다. 이를 완전히 규정한 정리는 부록에 제시돼 있으나, 주요 결과는 Corollary 1에 요약된다: 연속적이고 R₊₊ 에서 미분 가능한 f에 대해 limₜ→0⁺ f′(t)=−∞이면 그리고 그 역만이면 f는 DPO‑inducing 이다. 직관적으로는 f′ 가 0에 가까워질수록 무한히 음의 기울기를 가져야 최적해가 “내부”(즉, 모든 행동에 비제로 확률을 할당)로 유지된다는 의미다.

다음으로 저자들은 “likelihood displacement” 현상을 분석한다. 이는 DPO와 유사한 알고리즘에서 승자와 패자 모두의 확률이 점점 0에 수렴해 학습이 불안정해지는 현상이다. Lemma 2는 DPO‑inducing 함수 f의 전역 최소점 c=arg minₜ f(t) 가 1보다 작으면, (7)식에서 정의된 제한된 정규화(응답 집합 Sₓ에만 적용)로 인해 최적 정책이 πθ(y|x) ≤ c·πref(y|x) 를 만족하게 되고, 결과적으로 확률이 감소한다는 것을 보여준다. 따라서 “displacement‑resistant” 조건을 도입해 arg minₜ f(t) ≥ 1 을 요구한다. 이 조건을 만족하면 최소점이 1 이상이므로 확률 감소가 억제된다.

두 조건을 동시에 만족하는 함수의 존재를 보이기 위해 저자들은 f_SquaredPO(t)=½(log t)² 를 제안한다. 이 함수는 비볼록이지만 limₜ→0⁺ f′(t)=−∞ 를 만족해 DPO‑inducing 이며, 최소값이 t=1에서 0이므로 arg minₜ f(t)=1 로 displacement‑resistant 를 만족한다. f′(t)=log t / t 를 (6)식에 대입하면, β · f′(·) 가 각 샘플마다 적응형 가중치 βθ(y,x)=β/(πθ(y|x)πref(y|x)) 로 변환된다. 즉, SquaredPO 손실은 기존 DPO 손실에 비해 “적응형 β” 를 도입한 형태이며, 확률이 감소할수록 정규화 강도가 자동으로 증가해 과도한 확률 감소를 방지한다.

이론적 분석 외에도 실험에서는 다양한 LLM 베이스 모델에 SquaredPO 를 적용해 기존 DPO와 비교하였다. 결과는 다음과 같다. (1) 승자·패자 확률이 0에 수렴하는 현상이 크게 완화되었다. (2) 최종 정책의 인간 선호 일치도는 DPO와 동등하거나 약간 우수했다. (3) 학습 안정성이 향상돼 하이퍼파라미터 β 선택에 대한 민감도가 감소했다. 이러한 실험 결과는 제안된 두 수학적 조건이 실제 정렬 문제에서도 유효함을 뒷받침한다.

전체적으로 이 논문은 f‑다이버전스를 이용한 RLHF 최적화에서 볼록성 가정이 불필요함을 증명하고, 새로운 함수 클래스와 손실 설계 원칙을 제시함으로써 정렬 알고리즘의 이론적 기반을 확장한다. 특히 “DPO‑inducing”과 “displacement‑resistant”라는 두 개념을 도입해, 트랙터블하면서도 안정적인 정책 학습을 가능하게 만든 점이 가장 큰 공헌이라 할 수 있다.