보상 해킹 방지를 위한 베이지안 비음수 보상 모델

초록

본 논문은 인간 선호 데이터를 이용한 보상 모델이 길이·스타일 등 잡음에 취약한 문제를 해결하고자, 비음수 잠재 요인 분석을 브래들리‑터키 모델에 통합한 베이지안 비음수 보상 모델(BNRM)을 제안한다. 로컬·글로벌 수준의 희소성 제약을 통해 의미적 요인을 분리하고 스패셜 편향을 억제하며, Weibull 변분 추론을 이용해 대규모 LLM에 효율적으로 적용한다. 실험 결과, 과도한 보상 최적화를 크게 완화하고, 분포 이동 상황에서도 강인하며, 해석 가능한 보상 분해를 제공한다.

상세 분석

BNRM은 기존 RLHF 파이프라인에서 사용되는 결정론적 보상 함수의 한계를 베이지안 관점으로 재구성한다. 먼저, 인간 선호를 설명하는 확률적 생성 과정을 정의하고, 브래들리‑터키(BT) 선호 모델을 잠재 변수 θ와 전역 가중치 Φ에 대한 적분 형태로 확장한다. θ는 각 프롬프트‑응답 쌍에 대한 비음수 잠재 요인 벡터이며, Γ(α₀,β₀) 사전을 부여해 희소성을 유도한다. Φ는 전체 데이터에 공유되는 비음수 사전(Γ(γ₀,δ₀))을 갖는 전역 보상 사전으로, 전역 수준의 희소성은 스패셜(길이·스타일) 편향을 억제하는 디바이싱 역할을 한다. 이렇게 두 단계의 희소성—로컬 θ의 활성화 제한과 글로벌 Φ의 구조적 제약—을 결합함으로써 의미적 요인과 잡음 요인을 자연스럽게 분리(disentanglement)하고, 불필요한 상관관계를 억제한다.

모델의 불확실성 표현은 두 축으로 이루어진다. 첫째, θ의 확률적 샘플링은 인간 선호의 알레아틱(내재) 불확실성을 포착한다. 둘째, Φ에 대한 베이지안 사전과 변분 후분포 q(Φ)는 모델 자체의 에피스테믹(지식) 불확실성을 반영한다. 변분 추론에서는 Weibull 분포를 선택했는데, 이는 재파라미터화가 용이해 역전파가 가능한 동시에 비음수 제약을 자연스럽게 만족한다.

스케일링 측면에서 BNRM은 사전 훈련된 LLM 백본 f를 고정된 인코더가 아니라, 입력 (x, y) → z = f(x, y) 를 통해 θ의 변분 파라미터(형태·스케일)를 예측하는 암시적 인코더로 활용한다. 즉, amortized variational inference를 적용해 대규모 데이터와 모델에 대해 효율적인 추론을 가능하게 한다. 학습 목표는 BT 로그우도와 KL 발산을 결합한 ELBO를 최대화하는 것으로, 이는 기존 BT 손실에 불확실성 정규화와 희소성 촉진 항을 동시에 포함한다.

실험에서는 OpenAI GPT‑3.5 기반의 프롬프트‑응답 데이터셋과 인간 선호 라벨을 사용해, 기존 BT 기반 보상 모델, 앙상블 보상, 정보‑병목 기반 방법과 비교하였다. BNRM은 (1) 보상 과최적화 테스트에서 정책이 스패셜 편향을 이용해 점수를 인위적으로 높이는 현상을 크게 감소시켰으며, (2) 훈련 분포와 다른 도메인(예: 새로운 토픽, 길이 변동)에서의 선호 예측 정확도가 향상되었고, (3) θ와 Φ의 비음수·희소 구조를 시각화했을 때 의미 있는 토픽(예: “정확성”, “창의성”, “간결성”)이 독립적으로 드러나 해석 가능성이 높았다. 또한, 변분 후분포의 분산이 큰 경우(불확실성이 높은 입력)에는 정책 업데이트 시 보상 신뢰도를 낮추는 메커니즘을 적용해 안전성을 강화하였다.

한계점으로는 (i) 비음수·희소성 제약이 과도하면 표현력이 제한될 수 있어 하이퍼파라미터 α₀,γ₀의 튜닝이 필요하고, (ii) Weibull 변분 근사는 정확도가 완벽하지 않아 복잡한 선호 패턴을 완전히 포착하지 못할 가능성이 있다. 향후 연구에서는 비음수 제약을 완화한 하이브리드 구조, 더 정교한 사전 설계, 그리고 정책 단계에서 베이지안 보상 불확실성을 직접 활용하는 방법을 탐색할 예정이다.