선호 벡터를 활용한 적응형 도움 무해성 정렬

초록

본 논문은 도움과 무해성이라는 상충하는 두 목표를 별도 모델로 학습한 뒤, 파라미터 차이를 “선호 벡터”로 추출하고 테스트 시에 가중치를 조절해 합성함으로써, 사용자 지정 가능한 정밀 제어와 새로운 선호의 손쉬운 확장을 가능하게 하는 프레임워크를 제안한다. 실험 결과, 기존 RLHF·DPO 기반 방법보다 도움이 향상되면서 과도한 보수성을 피하고, 선호 강도 조절이 매끄럽게 이루어짐을 보였다.

상세 분석

이 연구는 다중 선호 정렬 문제를 “단일 목표 최적화”에서 “모듈식 파라미터 조합”으로 전환한다는 근본적인 패러다임 변화를 제시한다. 먼저, 도움(helpfulness)과 무해성(harmlessness) 각각에 대해 긍정(Preferred)과 부정(Avoided) 데이터셋을 라벨 스위칭으로 생성한다. DPO(Direct Preference Optimization)를 이용해 네 개의 모델 θ₊^Helpful, θ₋^Helpful, θ₊^Harmless, θ₋^Harmless을 독립적으로 학습한다. 여기서 DPO는 보상 모델 없이 선호 쌍을 직접 로스에 넣어 효율적인 학습을 가능하게 한다.

그 다음, 같은 선호의 긍정·부정 모델 파라미터 차이를 계산해 선호 벡터 ϕ_helpful = θ₊^Helpful − θ₋^Helpful, ϕ_harmless = θ₊^Harmless − θ₋^Harmless을 정의한다. 이 차이는 “행동 변위”를 파라미터 공간에 명시적으로 표현한다는 점에서 기존의 스칼라 가중치 조정이나 프롬프트 기반 스티어링과 차별화된다. 선호 벡터는 선형 결합이 가능하므로, 베이스 모델 θ_base에 η_helpful·ϕ_helpful + η_harmless·ϕ_harmless을 더함으로써 원하는 선호 비율을 즉시 구현한다. η 값은 사용자가 직접 조정할 수 있는 스칼라이며, 실시간 추론 단계에서 GPU 연산 없이 파라미터를 복사·덧셈하는 정도의 비용만 발생한다.

핵심 기술적 장점은 다음과 같다. 첫째, 각 선호를 독립적으로 최적화함으로써 상충하는 목표 간의 트레이드오프가 파라미터 수준에서 명시적으로 분리된다. 이는 “보상 해킹”이나 “과도한 보수성”을 유발하는 단일 목적 최적화의 한계를 극복한다. 둘째, η 스케일링을 통해 사용자는 사후에 선호 강도를 미세 조정할 수 있어, 개인화된 안전·도움 수준을 제공한다. 셋째, 새로운 선호가 필요할 경우 해당 선호에 대한 긍정·부정 데이터만 준비하면 동일한 파이프라인으로 ϕ_new을 추출하고 기존 합성식에 추가하면 되므로, 전체 모델을 재학습할 필요가 없다.

실험에서는 LLaMA‑3‑2‑3B, LLaMA‑3‑1‑8B, Mistral‑7B‑V0.1 세 모델에 PKU‑SafeRLHF 데이터셋을 사용하였다. 베이스 모델에 기존 RLHF·Safe‑RLHF·BFPO 대비 η 조절된 선호 벡터를 적용했을 때, 도움 점수는 평균 4.2 % 상승하면서 무해성 점수는 1.1 % 이하로 감소하는 미세한 손실만 보였다. 또한 η 값을 0 → 1 사이 연속적으로 변화시켰을 때, 도움·무해성 지표가 부드럽게 변함을 확인했으며, 이는 선호 벡터가 선형적인 행동 변이를 제공함을 실증한다. 마지막으로, 새로운 “정책 준수” 선호를 추가했을 때 기존 벡터와 독립적으로 학습된 ϕ_policy를 단순히 더해도 성능 저하 없이 목표를 달성했다.

이러한 결과는 파라미터 공간에서 선호를 벡터화하는 접근이 다중 목표 정렬에 있어 효율적이고 확장 가능함을 보여준다. 다만, 파라미터 차이가 모델 규모에 따라 비선형 효과를 일으킬 가능성, 그리고 서로 다른 선호 벡터 간 상호 간섭(interference) 문제는 향후 연구에서 정량적 분석과 완화 기법이 필요하다.