개인화된 인간 선호를 포착하는 보상 특징

초록

본 논문은 인간 피드백을 이용한 강화학습에서 사용자별 선호를 반영할 수 있는 보상 모델을 제안한다. 경험적 위험 최소화와 PAC 이론을 이용해 학습 오류가 전체 샘플 수와 피드백 제공자(라이터) 수에 어떻게 의존하는지 정량화하고, 선호를 선형 보상 특징의 조합으로 표현하는 구조를 설계한다. 실험을 통해 라이터 수가 많고 선호가 이질적일수록 제안 모델이 비적응형 대비 큰 이득을 보임을 확인한다.

상세 분석

이 논문은 기존 RLHF(RL from Human Feedback)에서 모든 인간 피드백을 하나의 평균 보상 함수에 통합하는 한계를 지적한다. 특히 주관적·문화적 차이가 큰 언어 모델의 경우, “대다수 선호”에 맞춘 모델은 소수 의견을 지속적으로 배제하게 된다. 이를 해결하기 위해 저자는 두 가지 핵심 아이디어를 제시한다. 첫째, 보상 모델을 사용자 h∈H에 조건화된 함수 c(h,x,y,y′) 로 정의하고, 데이터셋에 라이터 ID를 명시적으로 포함시켜 intra‑user와 inter‑user 일반화 개념을 구분한다. 둘째, 사용자의 개별 선호를 “보상 특징 φ₁,…,φ_k”의 선형 결합 wᵗφ 로 모델링한다. 여기서 φ는 모든 라이터가 공유하는 일반적인 특성이고, w는 라이터마다 달라지는 가중치이다.

이론적 분석에서는 경험적 위험 최소화 프레임에서 일반화 오차 |L_D(c)−L_S(c)| 를 PAC 형태로 상한한다. 핵심 결과식(3)은 오차가 라이터 수 m, 라이터당 샘플 수 n, 그리고 두 종류의 변동성 E