편향된 AI 피드백을 보정하는 통계적 정렬 프레임워크

초록

본 논문은 인간 선호 라벨이 부족한 상황에서 대규모 LLM‑as‑Judge(LLM 평가자) 데이터를 활용하되, 그에 내재된 시스템적 편향을 통계적으로 보정하는 두 가지 방법, DDPO와 DIPO를 제안한다. DDPO는 기존 Direct Preference Optimization(DPO)에 잔차 보정과 밀도비 가중을 추가해 효율성을 유지하면서 편향을 감소시키고, DIPO는 보상 모델 없이 인간 선호 확률을 직접 추정해 반반모형 효율 한계에 도달한다. 이론적 수렴·효율성 분석과 감성 생성·요약·대화 실험을 통해 인간 라벨에 근접한 성능을 입증한다.

상세 분석

이 논문은 LLM‑as‑Judge가 제공하는 대량의 AI‑생성 선호 라벨이 인간 선호와 구조적으로 차이날 수 있다는 점을 통계적 관점에서 정량화한다. 먼저, 인간 선호 확률 (g(Y^{(1)},Y^{(2)}|X))와 AI 평가자가 제공하는 근사 확률 (\tilde g(Y^{(1)},Y^{(2)}|X)) 사이의 차이를 편향 (b(X,Y^{(1)},Y^{(2)})=\tilde g-g) 로 정의하고, 이를 보정하기 위한 두 가지 접근법을 설계한다.

DDPO는 기존 DPO의 로그우도 손실 (\ell_{\text{DPO}}(\pi;X,Y^{(1)},Y^{(2)},Z))에 대해, 인간 라벨이 포함된 작은 데이터셋 (D_{\text{Human}})와 AI 라벨이 포함된 대규모 데이터셋 (D_{\text{AI}})를 동시에 활용한다. 핵심 아이디어는 (1) AI 라벨에 대한 편향을 인간 라벨과의 차이 (b_i = \tilde Z_i - Z_i) 로 추정하고, (2) 두 데이터셋 간 응답 분포 차이를 밀도비 (w(Y^{(1)},Y^{(2)}|X)=\frac{\pi_{\text{AI}}(Y^{(1)}|X)\pi_{\text{AI}}(Y^{(2)}|X)}{\pi_{\text{Human}}(Y^{(1)}|X)\pi_{\text{Human}}(Y^{(2)}|X)}) 로 보정한다. 이렇게 구성된 보정 손실 (\mathcal{L}{\text{DDPO}} = \mathcal{L}{\text{DPO}} - \mathcal{L}_{\text{B}}) 은 편향을 일차적으로 제거하면서도 DPO의 폐쇄형 최적화 형태를 유지한다. 샘플 스플리팅을 통해 (w) 를 독립적으로 추정함으로써 과적합 위험을 최소화하고, 이론적으로는 편향 보정 오차가 (O_p(n^{-1/2}+N^{-1/2})) 로 수렴함을 증명한다.

DIPO는 보상 함수 (r_\phi) 를 전혀 도입하지 않고, 인간 선호 확률 자체를 직접 추정한다. AI 평가자로부터 얻은 (\tilde g) 를 이용해 정책 (\pi) 와 기준 정책 (\pi_{\text{ref}}) 사이의 선호 확률 (\mathbb{P}(\pi \succ \pi_{\text{ref}})) 를 Monte‑Carlo 추정하고, 인간 라벨을 이용해 (\tilde g - g) 의 기대값을 밀도비 가중된 형태로 보정한다. 이때 편향 추정량 (\text{Bias}(\pi)) 은 인간 데이터에 대한 가중 평균으로 정의되며, 최종 목표는
\