DeepSeekMoE 공유 전문가와 정규화 시그모이드 게이팅 통계적 이점

초록

본 논문은 DeepSeek 모델에 적용된 Mixture‑of‑Experts 구조 중 두 가지 핵심 설계인 공유 전문가(shared expert)와 정규화 시그모이드 게이팅(normalized sigmoid gating)의 통계적 효율성을 이론적으로 분석한다. 샘플 복잡도 관점에서 공유 전문가가 빠른 수렴률을 보이며, 정규화 시그모이드 게이팅은 라우팅 전문가의 추정 속도를 크게 향상시킴을 증명한다. 합성 데이터와 실제 언어·비전‑언어 태스크 실험을 통해 이론적 결과를 검증하고, 라우터 포화, 변화율, 활용도 등 라우팅 행동을 상세히 조사한다.

상세 분석

논문은 먼저 DeepSeekMoE의 구조를 명확히 정의한다. 전문가 집합을 공유 전문가와 라우팅 전문가 두 부분으로 나누고, 공유 전문가는 모든 입력에 대해 항상 활성화되어 공통 지식을 학습한다. 라우팅 전문가들은 희소 소프트맥스 혹은 정규화 시그모이드 게이팅에 의해 선택된다. 이 설계는 기존 MoE에서 발생하는 파라미터 중복 문제를 완화한다는 직관적 기대와 달리, 실제 통계적 이점을 정량화하는 것이 핵심 과제이다.

1. 샘플 복잡도와 강한 식별성
저자들은 전문가 함수 h₁, h₂가 ‘강한 식별성(strong identifiability)’을 만족한다면, 파라미터 추정에 필요한 샘플 수가 거의 파라메트릭 수준인 O(log n / n)¹ᐟ² 로 수렴함을 보인다. 이는 전문가 함수의 1차·2차 편미분이 입력 x에 대해 선형 독립임을 요구하는 조건으로, GELU, 시그모이드, tanh 등 비선형 활성화 함수를 사용하는 두 층 FFN이 이 조건을 만족한다는 구체적 예시를 제시한다. 강한 식별성이 없을 경우, 특히 선형 전문가에서는 다항식 방정식 시스템의 해 존재 여부에 따라 수렴 속도가 급격히 느려질 수 있음을 이론적으로 증명한다.

2. 공유 전문가의 빠른 수렴
공유 전문가가 모든 입력에 대해 활성화되므로, 데이터 분포 전반에 걸쳐 충분한 관측을 얻는다. 이로 인해 공유 전문가 파라미터는 라우팅 전문가보다 n⁻¹ᐟ⁴ 수준의 빠른 수렴률을 보이며, 이는 라우팅 전문가가 희소하게 선택되는 경우보다 훨씬 효율적이다. 표 1에 정리된 바와 같이, 공유 전문가의 샘플 복잡도는 라우팅 전문가와 비교해 동일한 데이터 양으로 더 높은 정확도를 달성한다.

3. 정규화 시그모이드 게이팅의 효과
DeepSeek‑V3에서 도입된 정규화 시그모이드 게이팅은 소프트맥스와 달리 각 라우팅 전문가에 대한 확률을 독립적으로 정규화한다. 이 설계는 라우팅 전문가의 파라미터 추정에 필요한 다항식 방정식 시스템을 제거하고, 수렴률을 n⁻¹ᐟ² 로 향상시킨다. 즉, 라우팅 전문가가 소프트맥스 기반일 때는 복잡한 다항식 해의 존재 여부에 따라 수렴이 지연될 수 있지만, 정규화 시그모이드에서는 이러한 제약이 사라져 보다 일관된 빠른 수렴을 보인다. 공유 전문가의 수렴 속도는 게이팅 방식에 영향을 받지 않지만, 라우팅 전문가에 대한 샘플 효율성은 크게 개선된다.

4. 실험적 검증
합성 데이터 실험에서는 이론적 수렴률을 그대로 재현했으며, 실제 언어 모델(DeepSeek‑V2, V3)과 비전‑언어 멀티모달 태스크에서도 정규화 시그모이드 게이팅이 라우팅 전문가의 활용도를 높이고, 학습 초기에 라우터 포화 현상을 완화한다는 결과를 얻었다. 라우터 분석에서는 공유 전문가가 전체 트래픽의 약 30 %를 차지하면서도, 라우팅 전문가의 선택 빈도는 정규화 시그모이드에서 더 고르게 분포함을 확인했다.

5. 의의와 한계
이 논문은 MoE 설계에서 공유 전문가와 게이팅 메커니즘이 통계적 효율성에 미치는 영향을 최초로 정량화하였다. 특히, 강한 식별성 조건과 정규화 시그모이드 게이팅이 샘플 복잡도를 어떻게 낮추는지를 명확히 제시함으로써, 대규모 언어 모델 설계 시 파라미터 효율성을 극대화할 수 있는 이론적 근거를 제공한다. 다만, 현재 분석은 주로 Gaussian MoE와 특정 활성화 함수에 국한되며, 비정규 데이터 분포나 비선형 라우팅 구조에 대한 일반화는 향후 연구 과제로 남는다.