공정성 인식 보상 최적화

초록

FARO는 LLM 정렬 과정에서 보상 모델에 인구통계적 공정성 제약을 직접 삽입하는 인‑프로세싱 프레임워크이다. 차별적 패리티, 동등화된 오즈, 반사실 공정성을 라그랑지안 방식으로 최적화하고, 이론적으로 공정성 인증, 정확‑공정성 트레이드오프 분석, 정책 단계로의 공정성 전이, 그리고 비어 있지 않은 파레토 전선을 증명한다. 실험에서는 다양한 LLM과 벤치마크에서 편향을 크게 감소시키면서도 순위 정확도와 보정 성능을 유지하거나 향상시켰다.

상세 분석

FARO는 기존의 사전‑처리·사후‑처리 방식이 데이터 수준이나 출력 임계값만을 조정해 근본적인 보상 함수의 편향을 제거하지 못한다는 한계를 극복한다. 논문은 보상 모델을 쌍별 선호 데이터를 이용한 이진 분류 문제로 재구성하고, 이때의 예측 확률 pϕ(ŷw ≻ ŷl|x)=σ(rϕ(x,ŷw)−rϕ(x,ŷl))를 직접 공정성 제약에 연결한다. 민감 속성 S와 제한되지 않은 속성 U를 명시적으로 포함시켜, DP(인구통계적 평등), EO(동등화된 오즈), CF(반사실 공정성) 세 가지 표준 그룹 공정성 정의를 차등 허용오차 γ, κ, μ와 함께 라그랑지안에 삽입한다.

핵심 기술은 두 가지이다. 첫째, 비미분적인 하드 제약을 부드러운 기대 확률 기반의 프록시 제약으로 대체함으로써 경사 기반 최적화가 가능하도록 했다. 이는 실제 공정성 위반을 상한으로 잡아 이론적 보증을 유지한다. 둘째, 그룹 수 p가 커질 경우 제약 수가 O(p²)로 급증하는 문제를 ‘앵커링’ 기법으로 해결한다. 기준 그룹을 하나 정하고 다른 모든 그룹과의 차이만 제한함으로써 O(p) 제약으로 축소하면서도 삼각 부등식에 의해 전체 쌍wise 공정성을 보장한다.

이러한 설계 아래, 논문은 라그랑지안 최적화를 프록시‑GD(gradient descent‑ascent) 알고리즘으로 구현하고, 수렴 시 ρ‑근사 해와 λ의 최적 듀얼 값을 얻는다. 이때 얻어지는 ‘공정성 인증서’는 제약 위반이 사전에 정의한 슬랙 이하임을 보장한다. 또한 KL‑정규화된 정책 미세조정 단계에서 보상 함수의 공정성이 정책 πθ에 전이된다는 정리를 제시한다. 구체적으로, 보상 모델이 τ‑공정성을 만족하면, KL‑정규화된 RLHF 과정에서 얻어지는 정책 역시 τ+ε 수준의 공정성을 유지한다는 식이다.

마지막으로, 정확도와 공정성 사이의 트레이드오프를 정량화하고, 두 목표를 동시에 최적화하는 해들의 집합이 비어 있지 않음을 파레토 전선 존재 증명으로 뒷받침한다. 이는 실무에서 사용자가 허용 가능한 정확도 손실 범위 내에서 원하는 공정성 수준을 선택할 수 있음을 의미한다.

실험에서는 LLaMA, GPT‑2 등 여러 규모의 LLM에 FARO를 적용하고, ACS‑PUMS, UCI Adult, COMPAS 등 공정성 벤치마크에서 DP, EO, CF 지표를 크게 개선했다. 특히 표 1에서 보이듯, 기존 Fair‑Bayes 사후‑처리 방법은 DP 개선은 있었지만 보정 오류(ECE)를 악화시켰던 반면, FARO는 ECE를 낮추면서도 DP·EO·CF 모두에서 평균 30% 이상 개선을 달성했다. 생성 품질 측면에서는 BLEU, ROUGE, 사실성 평가에서 기존 RLHF와 동등하거나 약간 상회했으며, 유해 발화 감소 효과도 확인되었다.

요약하면, FARO는 보상 모델 단계에 공정성 제약을 직접 삽입함으로써 LLM 정렬 과정 전체에 걸쳐 편향을 근본적으로 억제하고, 이론적·실험적 증거를 통해 정확도와 공정성 사이의 균형을 체계적으로 관리할 수 있는 실용적인 솔루션을 제공한다.