스티어링이 작동하는 이유: 언어 모델 파라미터 동역학의 통합적 시각

초록

본 논문은 로컬 가중치 파인튜닝, LoRA, 활성화 기반 스티어링 등 다양한 LLM 제어 기법을 하나의 동적 가중치 업데이트 프레임워크로 통합한다. 선호(preference)와 유틸리티(utility)를 로그오즈 척도로 측정해 두 요소가 제어 강도와 어떻게 트레이드오프되는지 규명하고, 활성화 매니폴드 가설을 통해 메커니즘을 설명한다. 마지막으로 이러한 분석을 바탕으로 제안된 SPLIT 기법은 선호를 높이면서 유틸리티 손실을 최소화한다.

상세 분석

논문은 먼저 기존의 LLM 제어 방법들을 “동적 가중치 업데이트”라는 수식적 형태로 귀결한다. 로컬 가중치 파인튜닝은 전체 가중치와 바이어스를 ΔW, Δb 만큼 변형하고, LoRA는 저차원 행렬 BA를 통해 ΔW만을 추가한다. 활성화 스티어링은 입력에 직접 스칼라 m·v 를 더하는 형태로, 이는 바이어스 Δb 로 재표현될 수 있다. 이들을 하나의 통합식 h_{i+1} = (W + m₁ΔW)h_i + (b + m₂Δb) 로 정리함으로써, 제어 신호 m₁, m₂ 가 제어 강도를 연속적으로 조절할 수 있음을 보인다.

핵심 분석 도구는 ‘선호(preference)’와 ‘유틸리티(utility)’를 각각 로그오즈 형태로 정의한 것이다. 동일한 프롬프트 q에 대해 긍정적 답변 A⁺와 부정적 답변 A⁻의 조건부 확률을 P(A⁺|q), P(A⁻|q) 로 두고, 이를 P(u|q)·P(p⁺|q) 와 P(u|q)·P(p⁻|q) 로 분해한다. 여기서 P(u|q)는 작업 수행 능력(유틸리티)을, P(p⁺|q), P(p⁻|q)는 목표 개념에 대한 내재적 편향(선호)을 의미한다. 로그오즈 차이 L⁻−L⁺ 로 정의된 PrefOdds는 바이어스 조정 없이도 선호 변화를 직접 측정하고, UtilOdds는 두 확률의 합을 이용해 유틸리티 수준을 추정한다.

실험에서는 다양한 모델(Gemma‑2‑9B‑IT, Qwen‑2.5‑7B‑Instruct)와 레이어에서 세 가지 제어 방식을 적용하고, m 값을 변화시켜 PrefOdds와 UtilOdds의 곡선을 관찰했다. 모든 방법이 ‘선형 구간 → 전이 구간 → 수렴 구간’이라는 3단계 패턴을 보이며, 특히 |m| 가 작을 때 선호 로그오즈는 거의 선형적으로 증가한다. 반면 유틸리티는 m≈0 부근에서 최고점을 찍고, |m| 가 커질수록 점진적으로 감소한다. 이는 제어가 모델의 내부 표현을 목표 개념 방향으로 이동시키면서도, 지나치게 큰 이동은 훈련 시 학습된 고밀도 매니폴드에서 벗어나게 만든다는 활성화 매니폴드 가설과 일치한다.

활성화 매니폴드 가설에 따르면, 표현 P가 매니폴드 상에 있을 때 작은 스티어링 v·m 은 선호 축으로의 투영을 증가시키지만, 매니폴드 외부로 이동하면 ‘유효성(validity)’이 급격히 감소한다. 저자는 이를 ‘투사 이득(projection gain)’과 ‘유효성 감쇠(validity decay)’라는 두 요소로 모델링하고, 로그오즈와 m 사이의 관계를 곡선 피팅으로 검증한다. 피팅 결과 R²가 0.95 이상으로, 제안된 수식이 실제 동역학을 잘 포착함을 보여준다.

이러한 분석을 토대로 제안된 SPLIT(Steering with Preference‑Utility Trade‑off) 방법은 선호를 강화하는 방향으로 ΔW·v 를 학습하되, 유틸리티 손실을 최소화하도록 정규화 항을 추가한다. 실험 결과 SPLIT은 기존 LoRA나 단순 벡터 스티어링 대비 동일한 선호 수준에서 유틸리티 손실을 약 20% 감소시켰으며, 특히 복잡한 개념(예: 윤리적 편향 억제)에서 안정적인 출력을 제공한다.

전반적으로 논문은 LLM 제어 기법을 하나의 수학적 프레임워크로 통합하고, 선호‑유틸리티 로그오즈라는 공통 지표를 도입함으로써 서로 다른 방법 간의 정량적 비교를 가능하게 했다. 또한 활성화 매니폴드 관점을 통해 제어 강도와 성능 저하 사이의 근본 원인을 설명하고, 이를 활용한 새로운 스티어링 알고리즘을 제시함으로써 실용적 기여를 확장한다.