대형 언어 모델을 위한 주의 기반 개념 스티어링: 효율·정확성 혁신

초록

본 논문은 LLM 내부 활성화를 직접 조작해 특정 의미 개념을 유도하는 ‘스티어링’ 방법을 개선한다. 저자는 토큰 선택을 자동화하고, 개념 관련 특징의 이질성을 고려하며, 가장 효과적인 레이어를 탐지하는 주의(attention)‑가이드 프레임워크를 제안한다. 512개 개념 벤치마크에서 기존 최첨단 대비 성공적인 스티어링 비율을 거의 두 배로 끌어올렸으며, 8 B부터 70 B까지 다양한 모델 규모와 아키텍처에 적용 가능함을 보였다. 또한, 개념 특성이 레이어별로 어떻게 분포하는지 통찰을 제공한다.

상세 분석

이 연구는 기존 스티어링 방법이 “토큰 임베딩 선택”, “특징 이질성 처리”, “스티어링 레이어 선택” 세 가지 근본적인 약점에 크게 의존한다는 점을 지적한다. 첫 번째 약점은 대부분의 선행 연구가 마지막 토큰 혹은 고정된 위치의 임베딩만을 사용해 개념 벡터를 추출한다는 점이다. 저자는 프리픽스(예: “Refuse to answer …”)가 삽입된 프롬프트에서 해당 프리픽스 토큰에 대한 어텐션 가중치를 측정하고, 어텐션이 가장 높은 토큰을 동적으로 선택한다. 이렇게 하면 개념이 실제로 활성화되는 시점의 가장 표현력이 풍부한 토큰을 자동으로 찾아낼 수 있다.

두 번째 약점은 개념이 여러 레이어와 토큰에 걸쳐 비선형적으로 나타난다는 점이다. 기존 방법은 이진 라벨(활성/비활성)만을 사용해 지도 학습을 수행했지만, 저자는 어텐션 스코어를 연속적인 ‘소프트 라벨’로 활용한다. 소프트 라벨은 프리픽스에 대한 어텐션 강도를 직접 반영하므로, 어떤 프롬프트에서는 개념이 약하게 나타날 때도 학습에 반영된다. 이를 통해 특징 학습 단계에서 보다 정교한 개념 벡터를 도출한다.

세 번째 약점은 스티어링을 적용할 레이어를 사전에 고정하거나 전역 탐색(grid search)하는 비효율성이다. 저자는 퍼뮤테이션 테스트를 통해 프리픽스에 대한 어텐션이 통계적으로 유의하게 높은 레이어를 자동으로 식별한다. 이렇게 선정된 레이어에만 개념 벡터를 더해(또는 빼서) 스티어링을 수행하면, 불필요한 레이어에 대한 연산을 최소화하면서도 효과를 극대화한다.

실험에서는 Llama‑3.1(8 B), Llama‑2(70 B), 그리고 여러 오픈‑소스 모델에 대해 512개의 다양한 의미 개념(감정, 정치, 안전, 스타일 등)을 대상으로 평가했다. 기존 방법이 45 % 수준에 머물렀던 성공률을, 제안 프레임워크는 90 % 이상으로 끌어올렸다. 특히 “Refuse”와 같은 안전 관련 개념에서는 거의 완벽에 가까운 스티어링이 가능했다.

또한 레이어별 어텐션 분석을 통해 개념 특성이 특정 레이어에 집중되지 않고, 개념 클래스마다 서로 다른 레이어에 분포한다는 사실을 발견했다. 예를 들어 감정 관련 개념은 중간 레이어에, 사실성(진실) 관련 개념은 상위 레이어에, 스타일·톤 관련 개념은 하위 레이어에 더 많이 나타났다. 이러한 발견은 향후 레이어‑특화 파인튜닝이나 효율적인 라이트‑웨이트 스티어링 기법 설계에 중요한 힌트를 제공한다.

마지막으로 저자는 이 프레임워크가 대규모 산업용 모델에 적용될 때, 전체 파라미터를 재학습하지 않고도 몇 백 개의 개념을 빠르게 제어할 수 있는 ‘경량 파인튜닝’ 솔루션으로 확장 가능함을 강조한다.