RLHF와 DPO의 성능 격차: 모델 표현력과 샘플 효율성의 이중 딜레마

초록

본 논문은 인간 피드백 기반 강화학습(RLHF)과 직접 선호 최적화(DPO) 사이의 성능 차이를 이론적으로 분석한다. 표현력 차이(모델 미정규화)와 유한 샘플 상황을 각각 ‘명시적 표현 격차’와 ‘암묵적 표현 격차’로 구분하고, 정확한 최적화와 근사 최적화 두 경우에 대해 상세히 비교한다. 결과적으로 모델 클래스의 구조에 따라 RLHF가 우위일 수도, DPO가 우위일 수도 있음을 보이며, 특히 온라인 DPO는 두 모델 클래스가 동형(isomorphic)일 때 양쪽을 모두 능가한다. 또한, 희소 보상 구조를 가정한 샘플 복잡도 분석을 통해 RLHF가 DPO보다 훨씬 적은 데이터로 효과적인 보상 모델을 학습할 수 있음을 증명한다.

상세 분석

이 논문은 크게 두 축으로 분석을 전개한다. 첫 번째 축은 ‘정확한 최적화(무한 데이터)’ 상황에서의 모델 미정규화 효과이며, 두 번째 축은 ‘근사 최적화(유한 샘플)’ 상황에서의 통계적 효율성 차이다.

1. 정확한 최적화 하에서의 모델 미정규화

   • 조건 1 (완전한 보상·정책 모델): 보상 함수 r와 최적 정책 π가 각각 보상 모델 클래스 F와 정책 모델 클래스 Π에 완전히 포함될 때, RLHF와 DPO 모두 이론적으로 동일한 최적값 V*_π를 달성한다. 여기서 차이는 수렴 속도와 최적화 경로에 국한된다.
   • 조건 2 (강한 보상·약한 정책): 보상 모델은 충분히 표현력이 있지만 정책 모델이 제한적일 때, RLHF는 정확한 보상 r*를 학습한 뒤 Π 내에서 최적 정책을 찾을 수 있어 상한값 V*_Π에 가깝게 도달한다. 반면 DPO는 보상 모델을 건너뛰고 직접 정책을 학습하므로, 선호 데이터와 정책 클래스 사이의 불일치로 인해 하위 최적해에 머문다. 논문은 구체적인 환경 예시와 수학적 증명을 통해 V_RLHF > V_DPO임을 보인다.
   • 조건 3 (약한 보상·강한 정책): 보상 모델이 제한적이지만 정책 모델은 충분히 표현력 있을 때, RLHF는 잘못된 보상 r̂_RLHF에 기반해 정책을 최적화하므로 성능이 크게 저하된다. 반면 DPO는 보상 모델에 의존하지 않으므로 직접 선호를 반영한 정책 π̂_DPO를 학습해 V_DPO ≈ V*_Π에 근접한다.
   • 조건 4 (이중 미정규화, 동형 클래스): 보상·정책 모델 클래스가 서로 동형(isomorphic)하면서 동시에 미정규화될 경우, 온라인 DPO는 샘플링 전략(PILAF)과 적응형 스텝 사이즈를 활용해 두 단계(RLHF)보다 더 높은 목표값을 달성한다. 이는 온라인 DPO가 보상 모델과 정책 모델 사이의 구조적 일치를 이용해 “두 단계”의 손실을 동시에 최소화할 수 있기 때문이다.

2. 근사 최적화 하에서의 통계적 효율성

   • 논문은 선호 데이터가 유한할 때 DPO가 보상 구조를 왜곡할 수 있음을 보여준다. 선형 보상 모델을 가정하고, 실제 보상 r*가 차원 d, 희소도 k인 경우를 구성한다.
   • RLHF는 MLE 기반 보상 학습 단계에서 희소성을 활용해 O(k log d / n) 수준의 추정 오차를 달성한다. 이는 L1 정규화 등 희소 회귀 기법을 적용함으로써 가능해진다.
   • DPO는 직접 정책을 학습하면서 보상 파라미터를 암묵적으로 추정한다. 이 경우 추정 오차는 Ω(√(d / n))에 머물러, 희소성을 활용하지 못한다. 따라서 동일한 샘플 수 n에 대해 DPO는 RLHF보다 현저히 큰 일반화 손실을 보인다.
   • 실험 부분에서는 작은 규모의 언어 모델과 합성 데이터셋을 이용해 위 이론적 차이를 검증한다. RLHF는 적은 샘플로도 보상 함수를 정확히 복원했으며, DPO는 동일한 데이터에서 정책 품질이 낮았다.

3. 실용적 시사점

   • 모델 선택: 정책 모델이 제한적이면서 보상 모델이 풍부한 경우 RLHF를, 반대로 보상 모델이 제한적이고 정책 모델이 충분히 큰 경우 DPO(특히 온라인 DPO)를 선호한다.
   • 데이터 효율성: 선호 데이터가 희소하고 고차원 특성을 가질 때는 두 단계 접근(RLHF)이 샘플 효율성 면에서 명확히 우위다.
   • 온라인 DPO 활용: 보상·정책 클래스가 구조적으로 유사하거나 동일한 경우, 온라인 DPO는 기존 RLHF 파이프라인을 대체해 학습 속도와 최종 성능을 동시에 개선할 수 있다.

전반적으로 이 논문은 “표현력 격차”와 “샘플 효율성”이라는 두 축을 통해 RLHF와 DPO의 장단점을 체계적으로 구분하고, 실제 시스템 설계 시 어느 방법을 선택해야 할지 명확한 가이드라인을 제공한다.