모듈형 전문화와 토큰별 어댑터 라우팅: MoLoRA

초록

본 논문은 기존 멀티‑어댑터 시스템이 시퀀스 전체를 하나의 어댑터에 할당하는 한계를 지적하고, 토큰 단위로 어댑터를 선택하는 per‑token 라우팅을 제안한다. MoLoRA(Mixture of LoRA)는 학습된 라우터와 어댑터의 조합으로, 동일한 모델에 여러 도메인‑전문 LoRA를 동시에 로드하고 토큰별로 최적의 어댑터를 적용한다. 실험 결과, Qwen3‑1.7B에 MoLoRA를 적용했을 때 네 가지 추론 벤치마크에서 8배 큰 Qwen3‑8B를 능가했으며, 추론 지연도 크게 감소하였다.

상세 분석

이 논문은 두 가지 실용적 문제—멀티모달 생성 시 텍스트와 이미지 토큰이 서로 다른 전문 어댑터를 필요로 함과, “코드와 수학을 동시에 활용하는” 복합 요청—에 대해 기존의 per‑sequence 라우팅이 근본적인 비효율성을 가진다는 점을 명확히 제시한다. 이를 해결하기 위해 저자들은 토큰별 라우팅 프레임워크를 수학적으로 정의하고, 토큰당 O(1) 비용의 결정적 라우팅(단어 사전 구간 기반)과 학습 기반 게이팅 두 가지 방식을 제공한다. 특히, 라우팅 복잡도에 대한 정리(Theorem 3.4, 3.6)를 통해 per‑token 라우팅이 K · N(전통 방식) 대비 최소 작업량 N을 달성함을 증명한다.

MoLoRA는 이러한 라우팅을 LoRA 어댑터와 결합한 구조로, 어댑터 인덱스와 모달리티 인덱스를 곱해 복합 목표(composite target)를 만든 뒤, 히스토그램 기반 그룹화와 원자적 카운팅을 이용해 토큰들을 어댑터별 배치한다. 이 과정은 MoE(전문가 혼합) 시스템의 디스패치 커널과 동일한 형태이므로, 기존 MoE 최적화(어댑티브 타일링, 블록‑스파스 어텐션 등)를 그대로 활용할 수 있다.

시스템 구현 측면에서는 CUDA 그래프 캡처와 핫‑셋 메모리 아키텍처를 도입해 P99 지연을 67배 감소시켰으며, K‑모달리티 워크로드에서 4.1배(패스 감소)·5.5배(시스템 최적화 포함)의 속도 향상을 달성했다. 실험에서는 Qwen3‑1.7B에 네 개의 도메인‑전문 LoRA(코드, 수학, 일반 추론, 창의적 작문)를 로드하고, 학습된 라우터가 토큰별로 최적 어댑터를 선택하도록 함으로써 GSM8K, Math, BBH, GPQA 네 벤치마크 모두에서 8배 큰 Qwen3‑8B를 능가하는 성능을 기록했다.

한계점으로는 (1) 사전 기반 라우팅이 연속적인 모달리티 사전 구간을 전제로 하며, 비연속형 토크나이저에서는 O(V) 룩업이 필요하고, (2) 의미적 전문화(코드 vs. 수학 등)에서는 학습 라우터가 필수적이다. 저자들은 이러한 경우를 시나리오 1~4로 구분하고, 향후 멀티‑어댑터와 멀티‑모달 인코더가 결합된 모델에서도 학습 라우터가 자연스럽게 적용될 수 있음을 제시한다. 전체적으로 MoLoRA는 어댑터 기반 파인튜닝의 모듈성을 극대화하고, 추론 시점에 새로운 전문성을 손쉽게 추가할 수 있는 실용적인 프레임워크로 평가된다.