와이어리스 분산 MoE 추론을 위한 유사도 기반 에너지 절감 전문가 선택 SiftMoE

초록

SiftMoE는 전문가 간 기능적 유사성을 활용해, 무선 채널 상태와 정확도 제한을 동시에 고려한 최적 전문가 선택·스킵 정책을 제시한다. 이론적 오류 경계와 에너지 최소화 모델을 기반으로, 느린 페이딩 환경에서는 단일 토큰 디코딩과 다중 토큰 프리필링에 대한 최적 정책을 도출하고, 빠른 페이딩 환경에서는 기대 에너지 최소화를 위한 동적 프로그래밍 기반 전송 비트 할당을 설계한다. 시뮬레이션 결과, 기존 Top‑K 라우팅 대비 통신 에너지와 지연을 크게 줄이면서 정확도 손실을 최소화한다.

상세 분석

본 논문은 무선 분산 MoE(WIDE) 시스템에서 전문가 선택이 통신 비용에 미치는 영향을 정량화하고, 이를 최소화하기 위한 최적화 프레임워크를 제시한다. 첫 번째 핵심 기여는 전문가 교체·스킵이 최종 출력에 미치는 오차를 두 단계로 분석한 이론적 오류 경계이다. 여기서 저게이팅 가중치가 작은 전문가는 출력에 미치는 기여도가 작아, 해당 전문가를 제거하거나 유사한 전문가로 대체해도 오차가 제한적임을 증명한다. 또한, 기능적 유사도가 높은 전문가가 존재할 경우 교체가, 유사도가 낮을 경우 스킵이 더 작은 오류 상한을 제공한다는 중요한 통찰을 얻는다.

두 번째로, 이러한 오류 경계를 제약조건으로 삼아 에너지 최소화 문제를 수식화한다. 시스템 모델은 사용자와 N‑1 헬퍼 간의 업링크·다운링크 전송, 전문가 로딩 지연, 그리고 각 노드의 연산 능력을 포함한다. 느린 페이딩 가정 하에서는 채널 상태가 레이어 전역에 걸쳐 일정하므로, 각 레이어별로 활성화할 전문가 집합을 선택하고, 선택된 전문가가 위치한 헬퍼에 대한 전송 비트를 최적 배분한다. 저자들은 라그랑주 승수를 이용해 KKT 조건을 풀어, “가장 높은 가중치·가장 좋은 채널” 순으로 전문가를 선택하는 폐쇄형 정책을 도출하고, 단일 토큰 디코딩과 다중 토큰 프리필링 두 시나리오에 대해 각각 최적 해를 제시한다.

세 번째로, 빠른 페이딩 상황을 고려해 기대 에너지 최소화 문제를 확장한다. 채널이 레이어마다 독립적으로 변동하므로, 전문가 선택은 채널 평균에 기반한 결정적 대리 함수를 사용해 느린 페이딩 문제와 동일한 구조로 변환한다. 이후, 각 시간 슬롯별 전송 비트를 결정하기 위해 동적 프로그래밍(DP) 알고리즘을 적용한다. DP는 전송 비트 수와 에너지 소비 사이의 트레이드오프를 단계별로 최적화하며, 전체 지연 제한과 누적 오류 제한을 만족하도록 설계된다.

실험에서는 최신 MoE 모델(예: SwitchTransformer, GLaM)과 실제 텍스트 데이터셋을 사용해 시뮬레이션을 수행하였다. 결과는 SiftMoE가 Top‑K 라우팅 대비 평균 30%~45%의 에너지 절감을 달성하면서, 최종 토큰 정확도는 0.2% 이하의 손실만을 보인다는 것을 보여준다. 특히, 채널 품질이 열악한 헬퍼를 회피하거나 유사도가 높은 인접 전문가로 교체함으로써, 전송량을 크게 감소시킬 수 있었다.

전반적으로, 본 연구는 MoE 모델의 구조적 특성과 무선 채널 특성을 동시에 고려한 최초의 정량적 전문가 선택 프레임워크를 제공한다는 점에서 학술적·실용적 의의가 크다. 향후 연구는 다중 사용자 시나리오, 비동기 로딩, 그리고 실제 무선 테스트베드 적용을 통해 확장될 수 있다.