도파민 뇌를 바꾸는 것이 아니라 모드 전환

초록

본 논문은 가중치 공간이 아닌 활성화 공간에서 파라미터 효율적인 미세조정을 수행하는 새로운 방법인 TauGate (Threshold‑and‑Gain Tuning)를 제안한다. 기존 LoRA와 달리 기본 모델의 가중치를 고정하고, 각 뉴런마다 임계값과 이득을 학습함으로써 ‘모드 전환’이라는 관점에서 기존 연산을 선택·재조정한다. MNIST와 회전된 MNIST(45°)를 이용한 실험에서, 제한된 파라미터(수백 개)만으로 회전된 데이터에 대한 정확도를 향상시키며, 활성화 희소성을 통해 조건부 계산과 뉴런 수준 설명 가능성을 제공한다.

상세 분석

TauGate은 기존 PEFT 기법이 주로 가중치 행렬에 저차원 업데이트를 추가하는 방식과 달리, 뉴런 수준에서 활성화 함수를 직접 조절한다는 점에서 독창적이다. 구체적으로, 각 레이어의 사전 활성화 z 에 대해 임계값 τ 과 이득 γ 를 학습하고, 시그모이드 σ 를 이용해 부드러운 게이트 g = σ(s·(z‑τ)) 를 만든다. 여기서 s 는 게이트의 경도 파라미터로, 훈련 초기에 부드러운 흐름을 보장하고, 추론 단계에서는 s→∞ 조건 하에 하드 게이트 1