접선 공간으로 다중 선호도 조정하는 새로운 방법

초록

본 논문은 대형 언어 모델을 여러 인간 선호 차원(예: 도움이 됨, 간결함) 사이에서 유연하게 조정하기 위해, 기존 DPO를 접선 공간에서 수행하는 TS‑DPO 방식을 제안한다. 각 선호도마다 독립적인 파라미터 업데이트 벡터를 학습하고, 추론 시 이 벡터들을 선형 결합함으로써 추가 학습 없이 원하는 행동을 실시간으로 제어한다. 실험 결과, 도움‑간결성 트레이드오프에서 기존 스칼라화 DPO보다 넓은 파레토 커버리지를 달성하고, CCA 분석을 통해 선호도별 업데이트가 내부 표현 공간에서 서로 구분되는 방향으로 정렬됨을 확인하였다.

상세 분석

TS‑DPO는 “접선 공간(tangent space)”이라는 개념을 활용한다. 사전 학습된 LLM(θ₀)을 고정하고, 1차 테일러 전개를 통해 파라미터 변화 Δθ가 모델 출력에 미치는 영향을 선형적으로 근사한다. 즉, f(x;θ₀+Δθ)≈f(x;θ₀)+J_{θ₀}(x)·Δθ이며, 여기서 J_{θ₀}(x)는 파라미터에 대한 Jacobian이다. 이 근사 하에서 각 선호도(예: 도움이 됨, 간결함)에 대해 별도의 Δθₕ, Δθᵥ를 학습한다. 학습은 기존 DPO 손실을 그대로 사용하지만, 파라미터 전체가 아니라 접선 공간의 Δθ만을 최적화한다. 구현상 functorch의 make_functional_with_buffers와 JVP 연산을 이용해 Jacobian‑vector product만 계산함으로써 메모리와 연산 비용을 크게 늘리지 않는다.

핵심 아이디어는 “선호도별 업데이트가 선형적으로 결합 가능”하다는 점이다. 추론 시 사용자는 λ₁, λ₂와 같은 스칼라 가중치를 선택해 θ(λ)=θ₀+λ₁Δθₕ+λ₂Δθᵥ 로 모델을 재구성한다. 이는 기존 DPO가 하나의 스칼라 보상만 학습해 하나의 파레토 최적점만 제공하는 것과 달리, 다중 목표를 동시에 탐색할 수 있는 연속적인 파레토 프론티어를 제공한다. 또한, 파라미터 업데이트 자체가 선형 근사 영역에 머물기 때문에, 큰 곡률을 가진 비선형 영역에서 발생할 수 있는 불안정성을 회피한다.

실험에서는 Llama‑3.2‑1B‑Instruct를 베이스 모델로 사용하고, 도움은 UltraFeedback, 간결함은 HelpSteer2 데이터셋을 각각 6k/2k 쌍으로 학습했다. TS‑DPO는 마지막 16개 트랜스포머 레이어와 LM 헤드만을 업데이트 대상으로 제한했으며, 이는 파라미터 차원을 크게 줄여 효율성을 높였다. 비교 대상은 (1) 스칼라화 DPO‑Mixed(두 데이터셋을 합쳐 하나의 스칼라 보상으로 학습)와 (2) Task‑Vector DPO(각 데이터셋별 DPO 모델을 학습 후 파라미터 델타를 선형 결합)이다. 평가 지표는 (i) 보존된 DPO 데이터셋에 대한 쌍별 선호 정확도, (ii) 다목적 보상 모델을 이용한 생성 텍스트의 도움·간결 점수이다. 파레토 곡선을 그릴 때 λ을 01 구간뿐 아니라 05까지 확장해 외삽까지 확인했다.

결과는 두 가지 측면에서 의미 있다. 첫째, TS‑DPO는 동일한 λ 조합에 대해 DPO‑Mixed보다 높은 도움이 되면서도 간결함을 유지하거나 감소시키는 점수를 얻어, 파레토 프론티어가 더 넓고 매끄럽게 움직인다. 둘째, CCA 분석을 통해 Δθₕ와 Δθᵥ가 내부 표현 공간에서 서로 다른 주성분 방향에 정렬됨을 확인했다. 이는 선호도별 업데이트가 서로 얽히지 않고 독립적인 서브스페이스를 형성한다는 증거이며, 모델 해석 가능성과 모듈성에 긍정적인 영향을 준다. 또한, TS‑DPO는 JVP 연산으로 인한 약간의 연산 오버헤드(약 1시간 추가)만 존재하지만, H100 GPU에서는 15분 내에 학습이 완료될 정도로 실용적이다.

이 논문은 “선호도 별 파라미터 벡터를 학습하고, 추론 시 선형 결합한다”는 간단하면서도 강력한 프레임워크를 제시한다. 기존 RLHF나 다중 보상 스칼라화 방식이 갖는 재학습 필요성, 비선형 상호작용 복잡성 등을 회피하고, 사용자가 직접 선호 가중치를 조정해 실시간으로 모델 행동을 맞춤화할 수 있다. 향후 연구는 더 많은 선호 차원(안전성, 창의성 등)으로 확장하고, 비선형 접선 영역을 넘어서는 고차 근사나 메타‑학습과 결합해 더욱 정교한 제어 메커니즘을 탐구할 여지가 있다.