휴식 뉴런 활발한 통찰 대형 언어 모델 입력 희소화 개선

초록

본 논문은 입력 희소화 기법을 동적 구조 프루닝으로 재해석하고, 생물학적 자발 발화 현상을 모방한 ‘자발 뉴런’이라는 소수의 학습 가능한 보조 뉴런을 도입한다. 이 보조 뉴런은 입력에 무관하게 일정한 활성화를 제공해 희소화로 인한 표현 불안정을 보정한다. KL 기반 지식 증류로 학습된 자발 뉴런은 모델의 성능 격차를 크게 줄이며, 다양한 LLM(LLama‑3, Qwen‑3, Mistral)과 여러 벤치마크에서 효율성을 유지한다.

상세 분석

논문은 먼저 입력 희소화가 실제로는 입력에 따라 동적으로 뉴런을 선택·제거하는 구조적 프루닝과 동일한 수학적 형태임을 명확히 제시한다. 기존 연구들은 주로 연산량 감소에 초점을 맞추어, 희소화가 모델 내부 표현에 미치는 영향을 충분히 고려하지 못했다. 저자들은 생물학적 뉴런의 ‘자발 발화(baseline firing)’ 개념을 차용해, 모든 입력에 대해 일정 수준의 활성화를 제공하는 ‘자발 뉴런(spontaneous neurons)’을 설계한다. 이 뉴런들은 입력 독립적인 고정 벡터 α 를 학습하고, 최종 추론 단계에서는 W·α 를 편향 b 로 흡수함으로써 추가 연산 비용이 전혀 발생하지 않는다.

학습 과정은 두 단계로 구성된다. 첫 번째는 기존 입력 희소화 메커니즘 S(·) 을 그대로 사용하고, 두 번째는 전체 모델과 희소화 모델(자발 뉴런 포함) 사이의 출력 분포 차이를 최소화하는 KL 손실을 통해 α 를 최적화한다. 이 접근법은 사실상 전체 모델의 사전 지식을 압축된 형태로 ‘베이스라인’에 저장하는 효과를 낸다. 이론적 분석에서는 희소화에 의해 발생하는 평균 잔차 e(X) 를 상수 편향 b 가 보정함으로써 근사 오차가 감소함을 증명한다(식 7).

실험에서는 Llama‑3‑8B, Qwen‑3‑8B, Mistral‑v2‑7B 등 최신 LLM에 25 %~60 % 수준의 입력 희소화를 적용하고, 자발 뉴런을 삽입한 SPON(Spontaneous Neurons)과 기존 TEAL, CA‑TS, Wanda 등과 비교한다. 결과는 다음과 같다. (1) 언어 모델링 perplexity에서 SPON은 동일 희소도에서 TEAL보다 평균 5 %~10 % 낮은 값을 기록한다. (2) 다중 선택형 QA와 수학 추론 등 6개 다운스트림 과제에서 SPON은 dense 모델 대비 90 %~98 % 수준의 성능을 유지하며, TEAL은 70 % 이하로 급락한다. (3) 고차원 표현을 t‑SNE로 시각화한 결과, SPON은 TEAL에 비해 히든 레이어의 L2 이동량이 현저히 작아, 내부 표현이 더 안정적임을 확인한다.

또한, 자발 뉴런은 레이어별 삽입 위치와 개수에 따라 성능 변동이 있음을 분석한다. 저자는 중간 레이어(특히 612번째 블록)에 48개의 자발 뉴런을 배치할 때 가장 큰 이득을 얻으며, 이는 초기 레이어는 입력 특성 변환에, 최상위 레이어는 고수준 의미 통합에 더 민감하기 때문이다. 양자화와의 호환성 실험에서도 SPON은 4‑bit 양자화와 결합했을 때도 성능 저하가 거의 없으며, 이는 자발 뉴런이 양자화 노이즈를 보정하는 역할을 할 수 있음을 시사한다.

전체적으로 이 연구는 입력 희소화가 단순 연산 절감이 아니라 ‘동적 구조 프루닝’이라는 새로운 관점을 제공하고, 생물학적 영감을 받아 설계된 자발 뉴런이 그 한계를 효과적으로 메우는 방법임을 입증한다. 특히, 학습 비용이 적고 추론 시 추가 비용이 전혀 없으며, 다양한 모델·태스크에 일반화 가능한 점이 실용적 가치를 크게 높인다.