연합 라우터: 분산된 평가 데이터를 활용한 대규모 언어 모델 선택

초록

본 논문은 프라이버시와 데이터 파편화 문제를 해결하기 위해 연합 학습(Federated Learning) 기반 라우터 프레임워크를 제안한다. 클라이언트마다 제한된 쿼리와 불균형한 모델 평가 데이터를 보유한 상황에서, 파라메트릭 MLP 라우터와 비파라메트릭 K‑Means 라우터를 연합 방식으로 학습시켜 정확도‑비용 트레이드오프를 최적화한다. 실험과 이론적 분석을 통해 연합 학습이 개별 라우터보다 높은 모델 커버리지와 일반화 성능을 제공함을 입증한다.

상세 분석

이 논문은 LLM(대형 언어 모델) 라우팅 문제를 연합 학습(Federated Learning, FL) 관점에서 재정의한다. 기존 라우터는 중앙집중식 평가 데이터셋을 전제했지만, 실제 서비스에서는 각 클라이언트가 자체 쿼리와 모델 응답을 보유하고 있으며, 데이터는 프라이버시와 비용 문제로 중앙에 모을 수 없다. 저자는 이러한 상황을 “희소·비균형·프라이버시 민감”이라는 세 축으로 정리하고, 이를 해결하기 위한 두 가지 라우터 설계를 제시한다.

1. 파라메트릭 MLP‑Router

   • 입력: 사전 학습된 문장 인코더로부터 얻은 고정 차원 임베딩 x.
   • 구조: 공유 MLP 트렁크 hθ(x) 와 각 모델 m 에 대한 선형 헤드가 결합돼 정확도 Aθ(x,m)와 비용 Cθ(x,m)를 예측한다.
   • 손실: 관측된 정확도 c_acc 와 비용 d_cost 에 대해 MSE 손실을 사용, 전체 클라이언트 데이터에 대한 평균 손실 L(θ) 을 최소화한다.
   • 연합 학습: FedAvg 알고리즘을 적용해 각 클라이언트가 로컬 SGD τ 스텝을 수행하고, 서버가 가중 평균으로 전역 파라미터를 업데이트한다.

2. 비파라메트릭 K‑Means‑Router

   • 핵심 아이디어: 쿼리 임베딩 공간을 K개의 Voronoi 셀로 클러스터링하고, 각 셀 안에서 모델별 정확도·비용을 고정값으로 근사한다.
   • 연합 과정: 클라이언트는 로컬 데이터를 이용해 클러스터 중심과 셀별 통계(정확도·비용 평균)를 계산하고, 이를 서버에 전송한다. 서버는 모든 클라이언트의 통계를 합쳐 전역 클러스터와 셀 통계를 재구성한다.
   • 장점: 파라메트릭 모델 학습 비용이 없으며, 데이터가 극히 희소해도 셀 기반 평균값을 통해 충분히 추정 가능하다.

이론적 기여

• MLP‑Router에 대해 연합 최적화 수렴 보장을 제공하고, 비균형 데이터 상황에서도 글로벌 파라미터가 로컬 최적해보다 낮은 라우팅 서브옵티멀리티를 달성함을 증명한다.
• K‑Means‑Router는 클러스터링이 충분히 세밀하면, 각 셀에 포함된 쿼리 수가 증가함에 따라 기대 정확도·비용 추정 오차가 O(1/√n)으로 감소한다는 통계적 근거를 제시한다.

실험

• 두 개의 벤치마크(실제 기업 고객 로그와 공개된 멀티태스크 데이터셋)를 사용해 10~50개의 클라이언트를 시뮬레이션하였다.
• 연합 라우터는 개별 로컬 라우터 대비 정확도‑비용 프론티어를 평균 7%~12% 향상시켰으며, 특히 모델 커버리지가 낮은 클라이언트에서 효과가 두드러졌다.
• 고이질성(heterogeneity) 상황에서는 “적응형 개인화” 메커니즘을 도입해 글로벌 라우터와 로컬 라우터를 가중 평균해 성능 저하를 방지하였다.

시사점

• 라우팅 정책을 연합 학습으로 공유함으로써 프라이버시를 유지하면서도 전역적인 모델 선택 지식을 축적할 수 있다.
• 파라메트릭·비파라메트릭 두 접근법을 모두 지원함으로써, 클라이언트의 연산 능력·데이터 양에 따라 적절한 방법을 선택할 수 있다.
• 향후 모델 풀(pool)이 지속적으로 확장되는 환경에서도 연합 라우터는 새로운 모델을 추가하고 기존 클러스터를 재조정하는 방식으로 손쉽게 적응한다.