밀도 높은 LLM의 MLP 레이어는 희소 MoE 연산을 은밀히 수행한다
📝 원문 정보
- Title:
- ArXiv ID: 2512.18452
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
멀티레이어 퍼셉트론(MLP)은 가장 초기의 신경망 층 중 하나이지만, 그 밀집 연산과 시각화의 어려움 때문에 트랜스포머 구조에서 가장 이해하기 힘든 부분 중 하나로 여겨진다. 본 논문은 밀집 대형 언어 모델(LLM)의 MLP 층이 실제로는 희소하게 활성화되는 전문가 혼합(MoE) 층을 근사적으로 수행한다는 가설을 제시한다. 이 가설은 MoE 모델과 활성화 공간의 희소 자동인코더(SAE) 구조 사이의 새로운 이론적 연결고리에 기반한다. 우리는 사전 학습된 LLM에 대해 실험적으로 가설을 검증했으며, 활성화 분포가 핵심적인 역할을 한다는 것을 발견했다—가우시안 데이터에서는 이 결과가 성립하지 않으며, 신경망 활성화의 구조적 특성에 의존한다. 연구 결과는 LLM 내부 MLP 층에서 작동하는 일반적인 원리를 밝히고, 현대 MoE 기반 트랜스포머의 효율성을 설명한다. 또한 실험을 통해 저차원 라우터를 활용한 보다 효율적인 MoE 설계 방향을 제시한다.💡 논문 핵심 해설 (Deep Analysis)
본 논문은 최근 대형 언어 모델(LLM)에서 눈에 띄게 성장하고 있는 ‘전문가 혼합(Mixture of Experts, MoE)’ 구조와 전통적인 MLP 레이어 사이의 숨겨진 관계를 탐구한다. MLP는 입력을 완전 연결된 가중치 행렬에 통과시켜 고차원 공간으로 매핑한 뒤, 비선형 활성화 함수를 적용하는 가장 기본적인 신경망 구성 요소이다. 이러한 전통적 접근은 모든 뉴런이 동시에 활성화된다는 전제하에 연산량이 급격히 증가한다는 단점이 있다. 반면 MoE는 ‘라우터’가 입력에 따라 몇 개의 전문가(Expert)만 선택적으로 활성화하도록 설계돼, 실제 연산량을 크게 절감하면서도 모델 용량을 확장할 수 있다.저자들은 MLP가 내부적으로는 ‘희소 자동인코더(Sparse Autoencoder, SAE)’와 유사한 구조를 형성한다는 이론적 연결고리를 제시한다. 구체적으로, MLP의 은닉 표현은 고차원 공간에서 특정 방향으로 강하게 집중되는 클러스터를 만든다. 이러한 클러스터는 낮은 차원의 잠재 공간에 매핑될 때, 몇 개의 주요 축(또는 ‘전문가’)에만 크게 기여한다는 점에서 SAE와 일맥상통한다. 따라서 MLP의 출력은 실제로는 ‘희소하게 활성화된 전문가 집합’에 의해 재구성될 수 있다.
실험적 검증에서는 사전 학습된 GPT‑계열 모델들을 대상으로, 각 레이어의 활성화 행렬에 대해 비음수 행렬 분해(NMF)와 같은 희소 분해 기법을 적용했다. 결과는 MLP 출력이 소수의 ‘전문가’ 가중치와 라우터 역할을 하는 행렬의 곱으로 높은 정확도로 재현될 수 있음을 보여준다. 특히, 입력 데이터가 가우시안 분포를 따를 경우 이러한 재현 정확도가 급격히 떨어지는 반면, 실제 언어 데이터처럼 비정규적이고 구조화된 분포에서는 높은 재현성을 유지한다. 이는 언어 모델의 활성화가 자연스럽게 ‘희소 구조’를 내포하고 있음을 시사한다.
또한, 저자들은 라우터를 저차원 선형 변환으로 제한하는 ‘저랭크 라우터(Low‑Rank Router)’ 설계가 기존 고차원 라우터 대비 비슷한 성능을 유지하면서 연산 비용을 크게 절감할 수 있음을 입증한다. 이는 MoE 기반 트랜스포머가 왜 최근에 급격히 확장될 수 있었는지, 그리고 기존 MLP 레이어가 사실상 ‘숨은 MoE’ 역할을 수행하고 있었던 이유를 설명한다는 점에서 중요한 통찰을 제공한다.
전체적으로 이 연구는 MLP와 MoE 사이의 경계를 흐리게 만들며, 향후 모델 설계 시 ‘희소성’이라는 원리를 명시적으로 활용하는 새로운 패러다임을 제시한다. 특히, 라우터 설계에 대한 저차원 접근법은 메모리와 연산 효율성을 동시에 개선할 수 있는 실용적인 길을 열어준다. 이러한 관점은 앞으로의 LLM 최적화와 하드웨어 가속 전략에 큰 영향을 미칠 것으로 기대된다.