연속 효용 직접 선호 최적화

초록

CU‑DPO는 이진 선호 대신 연속적인 효용 점수를 이용해 여러 추론 전략을 학습한다. K개의 전략을 활용하면 샘플 복잡도가 Θ(K log K) 향상되고, 두 단계(전략 선택 → 실행 정제) 학습 파이프라인을 통해 수학적 추론 벤치마크에서 전략 선택 정확도를 35‑46%에서 68‑78%로, 최종 성능을 최대 6.6점 상승시킨다.

상세 분석

본 논문은 대형 언어 모델(LLM)의 수학적 추론을 “단일 사고 방식”으로 보는 기존 접근을 비판하고, 인간이 문제에 따라 다양한 인지 전략을 선택한다는 인지심리학적 근거를 제시한다. 이를 구현하기 위해 저자들은 연속 효용(Continuous Utility)이라는 새로운 감독 신호를 도입한다. 효용은 정답 여부, 단계 효율성, 추론 일관성 등 세 가지 요소를 가중 평균한 값으로, 0~1 사이의 실수 점수이다. 이러한 연속 점수는 기존 이진 라벨이 놓치는 부분‑단계 오류와 부분적 진전을 정량화한다.

이론적으로 저자는 K개의 전략을 학습할 때 이진 선호 기반의 수동 균등 샘플링이 필요로 하는 Ω(N K² log K) 표본 대비, 연속 효용을 이용하면 O(N K) 표본만으로 동일한 순위 복구 정확도를 달성한다는 Θ(K log K) 샘플 효율성을 증명한다. 또한 Bradley‑Terry 모델 하에서 DPO 손실을 최소화하면 학습된 암묵 보상이 실제 효용과 상수 차이만 존재한다는 정리를 제시해, 최적 정책이 엔트로피 정규화된 효용 최대화 정책임을 보인다.

실제 구현에서는 두 단계 파이프라인을 설계한다. 1단계는 “전략 선택”으로, 각 문제에 대해 K개의 사전 정의된 프롬프트(예: 단계별, 역방향, 검증 등)를 적용해 K개의 체인을 생성하고, LLM 판정자를 통해 효용을 평가한다. 가장 높은 효용을 보인 전략을 기준으로 “best‑vs‑all” 쌍을 만든다. 이 단계는 전략 간 큰 효용 차이(평균 0.35)를 활용해 명확한 신호를 제공한다. 2단계는 “실행 정제”로, 선택된 전략에 대해 저효용 체인을 재작성(refinement)하고, 동일 전략 내에서 원본 체인과 정제된 체인을 비교하는 마진‑계층(pair) 샘플링을 수행한다. 마진이 작은(≤0.15) 쌍을 우선적으로 학습시켜 미세한 단계‑수정 능력을 강화한다.

실험에서는 DeepMath, HARDMath2, ProofNet 등 450개의 문제에 대해 K=8 전략을 적용했으며, 전략 선택 정확도가 35‑46%에서 68‑78%로 크게 상승했다. downstream 성능은 인‑도메인에서 평균 +4.2점, 최악의 경우 +6.6점까지 개선되었고, GSM8K, Math‑500 등 OOD 데이터에서도 유의미한 전이 효과를 보였다. 또한, 마진‑계층 샘플링이 없는 경우 대비 효용 마진이 0.244에서 0.15‑0.20으로 감소함을 확인해, 고신호 쌍 구성이 학습 효율에 크게 기여함을 입증한다.

전체적으로 CU‑DPO는 연속적인 품질 신호와 전략‑분리 학습을 결합해, 기존 이진 DPO가 놓치던 세밀한 추론 품질 차이를 포착하고, 샘플 효율성을 크게 높이며, 다양한 문제 유형에 대한 적응성을 강화한다는 점에서 의미 있는 진보를 제시한다.