RLHF 목표 동일성 판단 Opal 알고리즘과 그 함의

초록

본 논문은 인간 선호 기반 강화학습(RLHF)에서 제안된 다양한 목표 함수를 수학적으로 동일한지 판단하는 Opal이라는 정규화 알고리즘을 소개한다. Opal은 목표를 고유한 정규 형태로 변환하거나, 비동등성을 증명하는 구체적 증거(위증)를 제공한다. 33개의 대표적 방법을 분석한 결과, 대부분은 동일한 정규 형태(주로 DPO와 동등)로 귀결되지만, 배치 정규화와 그룹‑종속 가중치 등 몇몇 메커니즘은 근본적으로 다른 목표를 만든다.

상세 분석

Opal은 “Add‑Reweight‑Link”라는 세 가지 원시 연산으로 모든 쌍‑마진 기반 목표를 표현한다. Add 연산은 개별 응답에 대한 정규화·KL·길이 보정 등 가산 항을 추가하고, Reweight 연산은 프롬프트 수준에서 마진을 스칼라로 스케일링한다. 마지막으로 Link 연산은 로지스틱, 힌지, 제곱 손실 등 단조 증가 함수로 마진을 변환한다. 이 세 연산이 충족해야 할 세 가지 조건(R1‑R3)은 각각 (R1) 가산 항이 점수 차이 형태여야 함, (R2) 가중치가 프롬프트에만 의존하고 쌍에 독립적이어야 함, (R3) 변환 함수가 엄격히 단조이어야 함이다. 조건을 모두 만족하면 Opal은 연산들을 순서대로 정리해 “Add