대규모 언어 모델을 위한 MoE 벤치마크 라이브러리 LibMoE 소개

초록

LibMoE는 Mixture‑of‑Experts(MoE) 모델의 사전학습과 Sparse‑Upcycling을 모두 지원하는 통합 프레임워크이다. 표준화된 구현·학습 파이프라인과 라우팅·전문가 동역학을 시각화·분석하는 도구를 제공해, 제한된 GPU 자원에서도 재현 가능한 대규모 실험을 가능하게 한다. 논문에서는 라우팅 안정성·엔트로피, 경량 초기화가 로드 밸런싱에 미치는 영향, 그리고 전통적 사전학습과 Sparse‑Upcycling 간 라우팅 패턴 차이를 정량적으로 분석한다.

상세 분석

LibMoE는 기존 MoE 연구가 겪어온 “컴퓨팅 장벽”을 해소하기 위해 설계되었다. 첫 번째 핵심은 통합 구현이다. 최신 SMoE 알고리즘 7종(예: Switch Transformers, BASE, DSelect‑k 등)을 하나의 코드베이스에 모아, 동일한 데이터 파이프라인·옵티마이저·스케줄링을 적용한다. 이를 통해 알고리즘 간 성능 차이를 순수하게 라우팅 설계와 초기화 전략에 귀속시킬 수 있다. 두 번째 핵심은 분석 인프라다. LibMoE는 토큰‑레벨 라우팅 로그, 전문가별 사용량, 로드 밸런싱 지표, 라우팅 엔트로피, 전문가 간 상관관계 등을 실시간으로 수집·시각화한다. 특히 라우팅 엔트로피를 통해 “전문가 다양성”과 “작업 특화” 정도를 정량화함으로써, 기존 연구에서 정성적으로만 논의되던 전문가 전문화 현상을 객관적으로 검증한다.

실험에서는 0.15 B, 0.68 B, 5.67 B 규모의 언어·비전‑언어 모델을 4 × H100 GPU에서 6~44시간 안에 학습시켰다. 경량 초기화 실험에서는 라우터 가중치를 작은 정규분포가 아닌, 스케일‑조정된 정규분포로 초기화했을 때 초기 라우팅 균형이 크게 개선되는 것을 확인했다. 이는 초기 단계에서 특정 전문가에 과도하게 트래픽이 몰리는 현상을 완화하고, 전체 학습 안정성을 높인다.

세 번째 분석은 학습 레짐 차이이다. 전통적인 전체 사전학습(Full Pretraining)에서는 라우팅 엔트로피가 점진적으로 감소하면서 전문가가 점차 특화되는 반면, Sparse‑Upcycling에서는 초기 엔트로피가 높게 유지되고, 라우팅 변동성이 크게 나타난다. 이는 Sparse‑Upcycling이 기존 dense 모델의 파라미터를 그대로 유지하면서 전문가를 추가하기 때문에, 라우터가 새로운 전문가를 탐색하는 과정이 길어지는 것으로 해석된다. 또한, 두 레짐 모두 로드 밸런싱은 초기 라우터 초기화와 K값 선택에 민감하게 반응한다는 점을 재확인했다.

성능 측면에서는 최신 SMoE 알고리즘이 제한된 자원 환경(4 × H100, 1‑2 B 토큰)에서는 기존 dense 모델 대비 미미한 개선(0.20.5 BLEU, 0.30.6 ROUGE)만을 보였으며, 이는 대규모 데이터·컴퓨팅이 없을 경우 MoE의 잠재력이 충분히 발휘되지 못함을 시사한다. 그러나 라우팅 안정성·전문가 활용 효율성 측면에서는 명확한 차별점을 제공한다.

마지막으로 LibMoE는 오픈소스로 제공되며, GitHub 레포지토리에는 상세한 사용법·베이스라인·시각화 스크립트가 포함돼 있다. 이는 연구자들이 동일한 실험 환경을 재현하고, 새로운 라우팅 기법이나 초기화 전략을 손쉽게 플러그인 형태로 테스트할 수 있게 한다. 전체적으로 LibMoE는 MoE 연구의 재현성·표준화·접근성을 크게 향상시키는 인프라로 평가된다.