동적 스티어링 벡터 조합으로 LLM 효율적 적응

초록

Steer2Adapt는 기존의 단일 스티어링 벡터 한계를 넘어, 도메인별로 정의된 소수의 의미론적 개념 벡터를 사전 구축하고, 베이지안 최적화를 통해 몇 개의 샘플만으로 최적의 선형 조합을 찾아 LLM을 추론 단계에서 효율적으로 적응시키는 프레임워크이다. 9개의 과제와 3개의 모델에 대해 평균 8.2% 성능 향상을 달성했으며, 데이터 효율성, 안정성, 투명성을 동시에 제공한다.

상세 분석

Steer2Adapt는 “스티어링 레시피”라는 새로운 패러다임을 제시한다. 기존 연구는 각 과제마다 새로운 스티어링 방향을 학습하거나, 사전 정의된 의미론적 개념 벡터 하나에 의존했다. 그러나 복합적인 과제는 다중 능력의 조정이 필요하고, 단일 벡터는 과제 간 전이에서 부정적 영향을 미칠 수 있다. 본 논문은 이러한 문제를 해결하기 위해 도메인(예: 추론, 안전) 내에서 공유되는 핵심 개념 차원을 식별하고, 각각에 대응하는 스티어링 벡터를 사전 추출한다. 이들 벡터는 V =