노이즈 피드백에서 선호 최적화 일반화 연구

초록

본 논문은 인간 피드백의 오류와 불확실성을 고려한 선호 최적화(Preference Optimization)의 일반화 특성을 이론적으로 분석한다. ε‑mislabel 및 ω‑uncertain 두 가지 현실적인 노이즈 모델을 도입하고, 제한된 학습 단계에서의 일반화 경계와 샘플 복잡도 변화를 정량화한다. 제안된 결과는 DPO, IPO, SLiC 등 기존 GPO 계열 손실에 적용 가능하며, Llama‑3.1‑8B를 이용한 Anthropic 데이터셋 실험을 통해 이론적 예측이 실제 성능 저하와 일치함을 입증한다.

상세 분석

이 논문은 대형 언어 모델(LLM)의 정렬을 위해 필수적인 선호 최적화가 실제 인간 피드백의 노이즈를 무시하고 진행되는 기존 연구와는 달리, 노이즈가 존재할 때의 일반화 거동을 체계적으로 규명한다. 먼저, 두 가지 대표적인 노이즈 모델을 정의한다. ε‑mislabel 모델은 라벨이 무작위로 뒤바뀌는 확률 ε를 가정해 인간 실수나 라벨링 오류를 모사하고, ω‑uncertain 모델은 실제 보상 차이에 기반한 확률 σ((r*(y_w)−r*(y_l))/ω) 로 선호가 결정되는 과정을 통해 불확실성이나 애매함을 포착한다. 이러한 모델링은 최근 HH‑RLHF 등에서 보고된 25 % 이상의 라벨 오류와 일치한다.

핵심 이론은 Generalized Preference Optimization(GPO) 손실을 일반화된 형태로 표현하고, f(z) 함수가 로지스틱, 제곱, 힌지 등 다양한 형태를 취할 수 있음을 보인다. 논문은 GPO가 보상 마진 r_θ(x,y_w,y_l) > 0을 확보하도록 학습함을 강조하고, 이를 0‑1 손실 형태의 인구 위험(population risk)으로 정의한다. 이후, 유한 단계(finite‑step) 학습 상황을 가정해 초기 손실이 일정 비율 내에 머무를 때 경계 변화(boundary dynamics)를 분석한다. 이 접근법은 과대 파라미터화된 모델이 최적 손실에 수렴한다는 기존 일반화 이론과 달리, 실제 LLM 파인튜닝이 수십에서 수백 단계만 수행되는 현실을 반영한다.

분석 과정에서 모델의 출력 구조를 softmax(W g(x)) 형태로 분해하고, g(x) 를 비선형 매핑, W 를 언임베딩 행렬이라 가정한다. 특히, RMSNorm 이후의 임베딩이 거의 동일한 노름을 갖는다는 실증적 관찰을 바탕으로, 임베딩 분포를 단위 구면 위의 von Mises‑Fisher(vMF) 분포로 근사한다. vMF의 평균 방향 μ와 농도 파라미터 κ(또는 정규화된 γ=2κ/d)를 이용해 데이터가 얼마나 잘 구분되는지(well‑separated) 정량화한다. 이때, 데이터가 고농도(큰 κ)일수록 경계가 명확해져 노이즈에 대한 견고성이 증가한다는 결론을 도출한다.

주요 정리는 다음과 같다. (1) ε‑mislabel 노이즈가 존재할 때, 샘플 복잡도는 O((1‑2ε)^{-2}) 형태로 증가하며, ε가 0.5에 가까워질수록 일반화 보장은 급격히 약해진다. (2) ω‑uncertain 모델에서는 ω가 클수록 라벨이 거의 무작위에 가까워져, 보상 마진이 평균적으로 감소하고, 일반화 경계는 O(1/√N · e^{−γ·Δ}) 형태로 표현된다(Δ는 클래스 간 평균 각도 차). (3) 데이터가 충분히 잘 구분되고 샘플 수 N이 크면, 노이즈 비율이 증가해도 인구 위험이 거의 0에 가깝게 유지될 수 있다. 반대로, 데이터가 복잡하거나 노이즈가 심하면 샘플 복잡도가 급증해 과적합 위험이 커진다.

실험에서는 Anthropic의 “willingness to make acausal trades” 데이터셋을 사용해 Llama‑3.1‑8B 모델을 DPO, IPO, SLiC 각각으로 파인튜닝하였다. ε를 0부터 0.4까지 변화시킨 결과, 테스트 정확도는 모든 손실에서 비슷한 감소 곡선을 보였으며, 특히 ω‑uncertain 상황에서는 정확도가 더 급격히 하락했다. 이는 이론적 분석에서 예측한 “데이터가 덜 구분될수록 불확실성에 민감”함과 일치한다. 또한, vMF 기반 임베딩 분석 결과, 실제 임베딩이 고농도(γ≈10) 영역에 위치함을 확인해, 이론적 가정이 현실에서도 타당함을 입증한다.

결론적으로, 이 논문은 인간 피드백의 노이즈를 정량적으로 모델링하고, 제한된 학습 단계에서도 적용 가능한 일반화 경계를 제공함으로써, 실무에서 LLM 정렬을 위한 데이터 수집·라벨링 전략과 학습 스케줄 설계에 직접적인 가이드라인을 제시한다.