평가 차이를 활용한 직접 선호 최적화: 실용 알고리즘과 이론적 향상

초록

본 논문은 기존 선호 기반 직접 최적화(DPO) 방식에 응답 간 평가 차이(레이트 갭) 정보를 추가함으로써 학습 효율을 높이는 새로운 알고리즘들을 제안한다. 레이트 갭을 이용한 RDPO, RIPO, 그리고 최대우도 기반 ML‑RDPO를 설계하고, 정확한 레이트 정보가 있을 때 통계적 수렴 속도가 DPO보다 빠름을 이론적으로 증명한다. 또한 레이트가 다소 노이즈가 있어도 성능 저하가 제한적임을 보이며, 다양한 LLM과 벤치마크에서 기존 DPO 계열보다 우수한 실험 결과를 제시한다.

상세 분석

이 논문은 LLM 정렬 문제에서 피드백 형태가 “선호(쌍)”만 제공되는 기존 DPO/IPO 계열이 갖는 정보 부족 문제를 지적한다. 동일 프롬프트에 대해 두 응답 사이의 상대적 품질을 수치화한 ‘레이트 갭’이 추가되면, 학습자는 단순히 어느 쪽이 더 나은가를 넘어서 그 차이가 얼마나 큰지를 알 수 있다. 이를 활용하기 위해 저자들은 세 가지 알고리즘을 제안한다. 첫 번째인 RDPO는 RLHF 목표식에 원래 보상 r와 레이트 ˆr의 선형 결합을 넣어, KL‑정규화된 정책 최적화 문제의 닫힌 형태를 도출하고, 이를 DPO와 동일한 형태의 손실 함수로 변환한다. β₁ 파라미터가 레이트 신뢰도를 조절하며, β₁이 작을수록 레이트를 더 크게 반영한다. 두 번째인 RIPO는 IPO의 제곱 손실을 변형해 레이트 차이를 포함시킨 형태로, 레이트가 Bradley‑Terry 가정에 맞지 않을 때도 적용 가능하도록 설계되었다. 세 번째인 ML‑RDPO는 레이트와 선호 정보를 공동 확률 모델로 가정하고, 레이트 차이를 정규분포(분산 V)로 모델링한다. 이 가정 하에 로그우도는 DPO 손실과 Distilled‑DPO 손실의 가중합으로 분해되며, V가 레이트 신뢰도를 나타낸다. 이론적 분석에서는 데이터 생성 과정을 i.i.d.로 가정하고, 레이트 추정 오차 Err(ˆr)를 정의한다. 핵심 정리는 Err(ˆr)가 작을 때 RDPO와 ML‑RDPO가 DPO에 비해 학습 속도가 지수적으로 개선된다는 점이다. 구체적으로, 보상 범위에 대한 의존도가 사라지고, 샘플 복잡도가 Err(ˆr)·log|Π|/ε² 형태로 감소한다. 또한 레이트에 잡음이 섞여 있어도 V 혹은 β₁을 적절히 조정하면 성능 저하가 제한적임을 보인다. 실험에서는 Zephyr‑7B, Llama‑3.1‑8B, Mistral‑7B 등 세 모델에 대해 AlpacaEval 및 ArenaHard 벤치마크를 사용했으며, RDPO가 가장 낮은 분산과 최고 평균 승률을 기록했다. ML‑RDPO도 일관된 우수성을 보였고, RIPO는 일부 상황에서 경쟁력을 유지했다. 특히 레이트‑전용 방법(Distilled‑DPO)이나 순수 선호 기반 방법(DPO, IPO, SIMPO)보다 모두 앞서는 결과를 얻었다. 마지막으로, 최근 RPO와 MAPPO 같은 레이트와 선호를 동시에 활용하는 최신 방법보다도 성능이 우수함을 입증한다. 전체적으로 이 논문은 레이트 차이라는 추가 정보를 효율적으로 통합하는 프레임워크를 제시함으로써, 정렬 학습의 데이터 효율성을 크게 향상시킬 수 있음을 보여준다.