연합 학습을 위한 저랭크 전문가 혼합 모델 FlexMoRE

초록

FlexMoRE는 전체 크기의 전문가 대신 저랭크 어댑터를 활용해 연합 학습 환경에서 메모리 효율성을 크게 높인 Mixture‑of‑Experts 구조이다. 6개의 도메인 전문가를 다양한 랭크(2⁰~2¹⁴)로 변환해 150가지 혼합을 120개 태스크에 평가했으며, 추론 성능은 기존 FlexOlmo보다 평균 1.72점 상승하면서 파라미터는 1/3 수준으로 감소했다.

상세 분석

본 논문은 기존 MoE 기반 연합 학습 시스템이 전체 파라미터를 가진 전문가에 의존함으로써 발생하는 메모리·연산 병목을 저랭크 어댑터(LoRA)로 대체하는 접근을 제시한다. 핵심 아이디어는 공용 베이스 모델을 기준으로 각 도메인 전문가의 가중치 차이 Δ를 SVD로 분해하고, 원하는 랭크 r만큼 truncation하여 저랭크 근사 Δ(r)를 얻는 것이다. 이렇게 얻은 Δ(r)를 베이스 모델에 더하면 저랭크 전문가가 완성된다(PHLoRA). 라우터는 기존 FlexOlmo와 동일하게 도메인‑인포메이션을 활용해 입력을 적절한 전문가 그룹에 할당하고, 저랭크 전문가가 선택될 경우 자동으로 베이스 모델에 어댑터를 적용한다.

실험 설계는 6개의 도메인(코드, 창작, 수학, 뉴스, 학술, 레딧) 각각을 2⁰2¹⁴의 15가지 랭크로 변환해 2‑전문가 혼합(96가지)과 7‑전문가 혼합(54가지)을 구성, 총 150개의 모델을 120개의 벤치마크(일반 목적 MC9, GEN5, AGIEval, BBH, MMLU, MMLU‑Pro)에서 평가하였다. 성능‑랭크 관계는 로그‑선형 회귀 s(r)=α+β·log₂r 로 모델링했으며, β가 양수인 경우 랭크 증가가 성능 향상에 기여함을 확인했다. 특히 추론·다중 단계 reasoning이 요구되는 BBH와 AGIEval에서는 최적 랭크가 2¹² 이상으로 높은 반면, 지식 중심 MMLU‑Pro에서는 2⁸2⁹ 수준에서도 포화 현상이 나타났다.

파라미터 효율성 측면에서 FlexMoRE는 최적 랭크 조합 시 전체 파라미터 10.75 B를 사용해 평균 점수 47.18을 기록, FlexOlmo(33.27 B, 45.46점) 대비 1/3 이하 메모리로 1.7점 이상의 성능 향상을 달성했다. 이는 저랭크 어댑터가 도메인 특화 정보를 충분히 보존하면서도 불필요한 매트릭스 용량을 크게 절감한다는 실증적 증거이다. 또한 PHLoRA 방식을 통해 기존 완전 전문가를 재학습 없이 바로 저랭크 버전으로 전환할 수 있어, 데이터 거버넌스가 엄격한 환경에서도 빠른 모델 배포가 가능하다.

전체적으로 FlexMoRE는 (1) 전문가 랭크와 태스크 난이도 간의 상관관계를 정량화, (2) 저랭크 어댑터 기반 전문가를 기존 MoE 라우팅에 자연스럽게 통합, (3) 연합 학습 시 메모리·연산 비용을 현저히 낮추면서도 성능 저하를 방지한다는 세 가지 주요 기여를 제공한다. 향후 연구에서는 라우터의 동적 랭크 선택, 라인별(레이어별) 랭크 최적화, 그리고 비동기 연합 학습 시 파라미터 동기화 비용 감소 방안 등을 탐색할 여지가 있다.