세밀한 활성화 조정: 적게 조정하고 더 많이 얻는다

초록

본 논문은 대형 언어 모델(LLM)의 블록 수준 활성화 조정이 내부 특성의 이질성 때문에 비효율적임을 밝히고, 각 차원을 원자 단위(Atomic Unit, AU)로 분해해 정밀하게 조정하는 방법을 제안한다. AU‑level 조정은 유해·무관한 특성을 배제하고 유익한 특성만을 강화함으로써 적은 개수의 활성화만을 수정해도 성능을 크게 향상시킨다. 제안된 AUSteer는 대조 샘플의 활성화 모멘텀을 이용해 중요한 AU를 전역적으로 선정하고, 입력별·AU별로 가변적인 스티어링 강도를 부여한다. 실험 결과, 여러 LLM과 다양한 벤치마크에서 기존 블록 수준 방법보다 훨씬 적은 수의 활성화만을 조정하면서도 일관되게 우수한 결과를 얻었다.

상세 분석

본 연구는 활성화 스티어링이 LLM 행동을 저비용으로 수정할 수 있는 유망한 패러다임임을 인정하면서, 기존 블록‑레벨 접근법의 근본적인 한계를 체계적으로 분석한다. 블록‑레벨 활성화는 수백에서 수천 차원의 벡터로 구성되며, 각 차원은 서로 다른 의미적 특성을 담고 있다. 저자들은 이를 “이질성(heterogeneity)”이라고 정의하고, 유익·무관·해로운 특성이 혼재함으로써 전체 블록을 한 번에 조정하면 원하는 신호와 원치 않는 신호가 동시에 증폭·감쇄된다고 지적한다.

이를 검증하기 위해 블록을 원자 단위(AU)로 분해한다. 수학적으로는 선형 변환 y = Wx 를 각 입력 차원 x_i 와 해당 열 W_:,i 로 분해하여, x_i 를 스칼라 형태의 AU‑level 활성화, W_:,i 를 AU라 정의한다. 이렇게 하면 특정 차원만을 조정하는 것이 해당 AU를 직접 스티어링하는 것과 동등함을 보인다. 실험에서는 BoolQ 데이터셋을 이용해 LLaMA2‑7B‑Chat의 특정 어텐션 헤드와 FFN 차원을 개별적으로 스티어링했을 때, 성능이 크게 달라지는 것을 확인하였다. 예를 들어, 84번째 차원만을 조정했을 때 정확도가 74.53%까지 상승했으며, 이는 전체 블록을 조정한 ITI(71.56%)·SADI(73.70%)보다도 우수했다. 반면, 44번째 차원은 성능을 저하시켰다. 이러한 결과는 AU‑level 조정이 “스티어링 적게, 얻는 것 더 많다”는 핵심 가설을 실증한다.

이론적 해석에서는 AU가 서로 다른 출력 토큰 분포를 제어한다는 점을 강조한다. 기존 연구의 임베딩 공간 해석을 차용해, 특정 AU에 높은 스티어링 강도를 부여하면 모델의 출력이 해당 AU가 선호하는 토큰 집합으로 수렴한다는 것을 KL 다이버전스 실험으로 입증하였다. 강도를 10에서 100,000까지 확대했을 때, 44번째와 84번째 AU가 각각 서로 다른 토큰 분포로 수렴함을 확인했고, 84번째 AU는 정답 토큰 “yes”를, 44번째 AU는 “no”와 같은 오답 토큰을 강화했다.

이러한 분석을 바탕으로 제안된 AUSteer는 두 단계로 구성된다. 첫 번째 단계는 “활성화 모멘텀”이라는 새로운 메트릭을 도입해, 긍정·부정 샘플에서 각 AU의 활성화 변화량을 비교·집계한다. 모멘텀은 스케일에 민감하지 않은 카운팅 기반 지표로, 전역적으로 가장 구분력이 높은 AU를 선정한다. 두 번째 단계에서는 입력별 스티어링 스칼라를 현재 활성화 값에 비례하도록 설계해, 기존의 고정된 벡터 삽입 방식보다 더 자연스럽게 조정 강도를 조절한다. 또한, AU별 중요도에 따라 가중치를 부여해, 핵심 AU는 높은 강도로, 부수적 AU는 낮은 강도로 스티어링한다.

실험에서는 LLaMA2‑7B, LLaMA3‑8B, Gemma‑2B 등 다양한 모델과 Commonsense Reasoning, Math Reasoning, Open‑ended Generation 등 5개 이상의 벤치마크를 사용했다. 기존 SOTA인 ITI, SADI, ST‑A 등은 수천 차원의 블록을 동시에 조정했지만, AUSteer는 최대 100개의 AU만을 조정하면서 평균 2~4%p 이상의 정확도 향상을 달성했다. 특히, 안전성 평가에서 해로운 토큰 생성 비율을 30% 이상 감소시키는 등, 효율성뿐 아니라 안전성 측면에서도 장점을 보였다.

결론적으로, 블록‑레벨 활성화는 내부 이질성으로 인해 비효율적이며, AU‑level 조정이 더 정밀하고 비용 효율적인 대안임을 입증한다. AUSteer는 간단한 모멘텀 기반 AU 선정과 적응형 스케일링을 통해 실제 적용 가능성을 높였으며, 향후 LLM 정밀 제어와 안전성 강화 연구에 중요한 기반을 제공한다.