전문가 혼합 모델의 기하학적 정규화와 가중치·활성화 불일치
📝 원문 정보
- Title: Geometric Regularization in Mixture-of-Experts: The Disconnect Between Weights and Activations
- ArXiv ID: 2601.00457
- 발행일: 2026-01-01
- 저자: Hyunjun Kim
📝 초록 (Abstract)
Mixture‑of‑Experts(MoE) 모델은 희소 활성화를 통해 효율성을 확보하지만, 전문가 특화에 있어 기하학적 정규화가 어떤 역할을 하는지는 아직 명확하지 않다. 본 연구에서는 전문가 간 다양성을 강제하기 위해 직교 손실(orthogonality loss)을 적용했지만, 여러 측면에서 기대에 미치지 못함을 확인하였다. 첫째, 가중치 공간의 중복도(MSO)는 정규화 강도가 증가함에 따라 최대 114 %까지 오히려 상승하였다. 둘째, 활성화 공간의 중복도는 정규화 여부와 관계없이 약 0.6 수준으로 높은 상태를 유지하였다. 셋째, 성능에 미치는 영향도 일관되지 않아 WikiText‑103에서는 –0.9 %의 미세한 개선, TinyStories에서는 +0.9 %의 약간의 저하, PTB에서는 표준편차가 1.0을 초과하는 변동성을 보였다. 7가지 정규화 강도에 대한 분석 결과, 가중치와 활성화의 직교성 사이에는 r = ‑0.293, p = 0.523으로 유의미한 상관관계가 없었다. 이러한 결과는 가중치 공간 정규화가 기하학적 목표를 달성하지 못하고, 성능 향상에도 신뢰할 수 없는 영향을 미치므로 MoE의 전문가 다양성을 위한 방법으로 부적합함을 시사한다.💡 논문 핵심 해설 (Deep Analysis)
Mixture‑of‑Experts(MoE) 구조는 수백에서 수천 개의 전문가 중 일부만을 선택적으로 활성화함으로써 계산 비용을 크게 절감한다는 장점이 있다. 그러나 전문가들이 실제로 서로 다른 기능을 수행하도록 만들기 위해서는 “전문가 다양성”이 필수적이며, 이를 달성하기 위한 다양한 정규화 기법이 제안되어 왔다. 본 논문에서는 가장 직관적인 접근법 중 하나인 가중치 직교 손실을 적용하여 전문가 간의 기하학적 차이를 강제하고, 그 효과를 다각도로 평가하였다.첫 번째 실험에서는 가중치 공간 중복도(MSO, Mean Subspace Overlap)를 측정하였다. 기대와 달리 정규화 강도가 커질수록 MSO가 최대 114 %까지 증가했으며, 이는 전문가들의 파라미터가 오히려 더 유사해지고 있음을 의미한다. 직교 손실이 가중치 행렬의 내적을 최소화하도록 설계되었음에도 불구하고, 실제 학습 과정에서는 손실이 다른 목표(예: 언어 모델링 손실)와 경쟁하면서 최적화가 방해받았을 가능성이 있다. 또한, MoE 구조 특성상 각 배치에서 선택되는 전문가가 제한적이기 때문에, 일부 전문가는 충분히 업데이트되지 않아 가중치가 수렴하지 못하고 서로 겹치는 현상이 발생할 수 있다.
두 번째로 활성화 공간 중복도를 평가하였다. 활성화 중복도는 각 입력에 대해 선택된 전문가들의 출력 벡터 간 코사인 유사도로 정의되며, 정규화 여부와 관계없이 약 0.6 수준을 유지하였다. 이는 전문가들이 입력에 대해 서로 다른 특징을 추출하지 못하고, 비슷한 활성화 패턴을 보인다는 것을 보여준다. 활성화 공간은 가중치와 달리 실제 데이터 분포와 직접 연결되어 있기 때문에, 가중치 직교가 활성화 다양성으로 바로 이어지지 않는다는 점을 시사한다.
세 번째로는 성능 측면을 살펴보았다. WikiText‑103에서는 정규화가 –0.9 %의 퍼플렉시티 개선을 보였지만, TinyStories에서는 +0.9 %의 악화가 관찰되었다. PTB(펜 트리뱅크) 데이터셋에서는 실험 반복마다 결과 변동이 커서 표준편차가 1.0을 초과하였다. 이러한 불안정성은 정규화 강도가 모델의 일반화 능력에 미치는 영향이 데이터셋 특성에 크게 의존한다는 것을 의미한다. 특히 작은 규모 데이터셋에서는 정규화가 과적합을 방지하기보다는 학습을 방해하는 요인으로 작용할 가능성이 있다.
마지막으로 가중치 직교도와 활성화 직교도 사이의 상관관계를 분석하였다. 7가지 정규화 강도에 대해 Pearson 상관계수를 계산한 결과 r = ‑0.293, p = 0.523으로 통계적으로 유의미한 관계가 없었다. 즉, 가중치가 서로 직교하더라도 활성화가 직교하지 않을 가능성이 높으며, 두 공간 간의 독립적인 동역학을 고려해야 함을 보여준다.
종합하면, 가중치 공간에 대한 기하학적 정규화는 기대했던 “전문가 다양성”을 실현하지 못하고, 오히려 가중치 중복을 증가시키며, 활성화 다양성에도 영향을 미치지 않는다. 성능 향상도 일관되지 않아 실용적인 적용에 한계가 있다. 따라서 MoE 모델에서 전문가 간 차별화를 목표로 할 때는 가중치 직교 손실보다 토큰‑레벨 라우팅 다양성, 전문가‑별 데이터 샘플링, 혹은 메타‑학습 기반의 정규화와 같은 보다 직접적인 접근법을 탐색하는 것이 바람직하다.