FarSkipCollective 차단 통신 해제

초록

본 논문은 대규모 Mixture‑of‑Experts( MoE) 모델에서 발생하는 블로킹 통신을 해소하기 위해 모델 구조를 “FarSkip‑Collective” 방식으로 변형하고, 자체 증류(self‑distillation) 기법으로 성능 손실을 최소화한다. 16B‑109B 규모의 여러 최신 MoE 모델을 변형했으며, 정확도는 원본 대비 1% 이내의 차이만 보였다. 또한 Megatron‑LM, vLLM, SGLang 등에 최적화된 구현을 제공해 학습·추론 시 통신‑연산 겹침을 88%‑97% 수준으로 달성, 시간‑대‑첫 토큰(Time‑to‑First‑Token)에서 18% 이상의 속도 향상을 기록한다.

상세 분석

FarSkip‑Collective는 MoE 레이어의 잔차 연결(residual connection) 중에서 최신 블록 출력이 통신에 의해 블로킹되는 구간을 “far‑skip”하여, 아직 전달되지 않은 출력 대신 이전 레이어의 활성값(“outdated” 또는 “partial” activation)을 다음 레이어의 입력으로 사용한다. 이때 두 가지 입력 전략을 혼합해(Attention 서브블록은 partial, MoE 서브블록은 outdated) 통신과 연산을 겹칠 수 있는 윈도우를 최대화한다. 핵심 아이디어는 “연산이 통신보다 오래 걸리면 통신 대기 시간을 없앨 수 있다”는 점이며, 이를 위해 모델 구조 자체를 변경하면서 파라미터 수와 레이어 구성을 그대로 유지한다.

구조 변경은 모델의 표현력에 영향을 줄 수 있기 때문에, 저자들은 FarSkip‑Collective Self‑Distillation(FCSD)이라는 자체 증류 파이프라인을 설계했다. FCSD는 <10B 토큰의 고품질 데이터와 KL 손실, L2 중간 표현 정렬 손실을 결합해 원본 모델을 교사(teacher)로 삼아 학생(student) 모델을 미세조정한다. 실험 결과, 16B DeepSeek‑V2 Lite, 30B Qwen‑3‑MoE, 109B Llama‑4 Scout 등 세 가지 모델에 대해 평균 정확도 손실이 2.5% 이하이며, 특히 100B 규모에서는 1% 미만의 손실을 보였다.

통신‑연산 겹침 구현은 두 단계로 나뉜다. 학습에서는 Megatron‑LM 위에 비동기 all‑to‑all 집합체와 PyTorch API 레벨 스케줄러를 삽입해 Expert Parallelism의 Dispatch·Combine 단계에서 88.4%의 겹침률을 달성했다. 추론에서는 vLLM·SGLang에 HIP/CUDA‑graph 기반 비동기 커뮤니케이션을 통합해 97.6%까지 겹침을 끌어올렸다. 특히 Llama‑4 Scout 모델은 TTFT(Time‑to‑First‑Token)에서 18.5% 가속을 기록했다.

이 논문은 기존 연구가 텐서 병렬화된 밀집 모델에만 적용된 것과 달리, MoE와 같은 스파스 모델 전체 레이어에 걸쳐 구조 변형과 겹침을 적용했으며, 대규모(100B+) 모델에서도 성능 유지와 실질적인 속도 향상을 입증했다. 또한 구현이 PyTorch API 수준에 머물러 있어 하드웨어 종속성을 최소화하고, 향후 다양한 GPU/AMD 가속기에 쉽게 포팅할 수 있다. 다만, far‑skip 전략이 통신보다 연산이 짧은 경우(극단적 고밀도 상황)에는 겹침 효율이 떨어질 수 있으며, 더 aggressive한 다블록 스킵이 필요할 가능성이 남아 있다.