동적 전문가 클러스터링과 구조적 압축으로 MoE 트릴레마 탈피

초록

본 논문은 MoE 기반 대형 언어 모델이 겪는 부하 불균형·파라미터 중복·통신 비용이라는 삼중고(트릴레마)를 해결하기 위해, 전문가들을 온라인으로 유사도 기반 클러스터링하고, 클러스터 내에서는 공유 베이스와 저랭크 잔차 어댑터로 압축하는 통합 프레임워크를 제안한다. 두 단계 계층형 라우팅과 이기종 정밀도( FP16 + INT4) 및 동적 오프로드 기법을 결합해 메모리 사용량을 밀집 모델 수준으로 낮추면서, 파라미터 80 % 절감, 처리량 10‑20 % 향상, 부하 변동성 3배 이상 감소를 달성한다.

상세 분석

이 연구는 MoE‑LLM이 직면한 “로드 불균형·파라미터 중복·통신 오버헤드”라는 세 가지 핵심 병목을 개별적으로가 아니라 하나의 통합 설계로 동시에 완화한다는 점에서 혁신적이다. 핵심 아이디어는 전문가를 동적 클러스터링하여 구조적·기능적 유사성을 기반으로 그룹화하고, 그룹 내부에서는 공유 베이스 매트릭스와 극저랭크( low‑rank ) 잔차 어댑터를 이용해 파라미터를 압축한다는 점이다.

1. 온라인 듀얼‑유사도 클러스터링

   • 각 전문가를 파라미터 벡터와 활성화 중심(EMA 기반) 두 가지 특징으로 표현한다.
   • 파라미터 코사인 유사도와 활성화 코사인 유사도를 가중치 α로 선형 결합해 융합 유사도를 정의한다.
   • 일정 주기(T)마다 K‑means++(시드)와 근접 그래프 필터링(유사도 임계값 τ)으로 O(E²) 비용을 제한하고, 클러스터 크기를 균등하게 유지한다.
   • 클러스터링 결과는 모든 워커에 전파되어 라우팅 단계에서 사용된다.

2. 공유 베이스 + 저랭크 잔차

   • 같은 클러스터에 속한 K개의 전문가 가중치를 평균해 공유 베이스 W_g^base를 만든다.
   • 각 전문가 i는 W_i = W_g^base + ΔW_i 로 재파라미터화하고, ΔW_i를 A_i · B_i^T 로 저랭크 분해한다.
   • r ≪ d_in, d_out 인 저랭크 차원을 선택해 압축 비율 C_R ≈ K / (1 + 2Kr/d) 를 달성한다. 실험에서는 d=4096, K=8, r=16 일 때 약 6배 압축이 가능했다.
   • 베이스 연산은 클러스터 내 모든 토큰에 대해 한 번만 수행되므로 연산 효율도 크게 향상된다.

3. 계층형 라우팅

   • 첫 단계에서 토큰을 클러스터(G) 수준으로 라우팅하고, 두 번째 단계에서 해당 클러스터 내 전문가(k)로 세부 라우팅한다.
   • 이는 라우팅 탐색 복잡도를 O(E) → O(G) 로 감소시키고, all‑to‑all 통신량을 클러스터 수에 비례하도록 크게 줄인다.
   • 라우팅 로그잇은 기존 토큰‑전문가 매핑을 그대로 사용하되, 클러스터 라우팅에 대한 추가 손실을 최소화하도록 설계되었다.

4. 이기종 정밀도와 동적 오프로드

   • 공유 베이스는 FP16으로 저장하고, 저랭크 잔차는 INT4(양자화)로 압축한다.
   • 사용되지 않는 클러스터는 GPU 메모리에서 CPU 혹은 NVMe로 동적 오프로드되어 피크 메모리를 밀집 모델 수준(≈ 2‑3 B)으로 낮춘다.
   • 오프로드 정책은 최근 라우팅 통계와 클러스터 부하를 기반으로 실시간 결정된다.

5. 실험 및 결과

   • GLUE(문장 분류·추론)와 WikiText‑103(언어 모델링)에서 기존 MoE‑BERT/​GPT‑style 모델과 동일하거나 근소히 낮은 퍼플렉시티/정확도를 기록했다.
   • 파라미터는 전체 모델 기준 80 % 감소, 메모리 사용량은 FP16 기준 2.5 × 감소, 처리량은 10‑20 % 향상되었다.
   • 부하 불균형 지표(I_load)도 3배 이상 감소해 GPU 활용도가 크게 높아졌다.

핵심 기여는 (1) 전문가를 의미론적·구조적 유사성에 따라 동적으로 재구성함으로써 파라미터 중복을 근본적으로 제거, (2) 저랭크 잔차와 공유 베이스를 통한 고효율 압축, (3) 계층형 라우팅으로 통신 비용을 구조적으로 감소, (4) 이기종 정밀도와 동적 메모리 관리로 실용적인 메모리 한계를 극복한다는 점이다. 이러한 설계는 MoE‑LLM을 대규모 클라우드·멀티‑GPU 환경뿐 아니라 메모리 제한이 심한 엣지 디바이스에도 적용 가능하게 만든다.