이기종 연합학습을 넘어: 서버 기반 클라이언트 매칭과 지능형 라우팅

초록

연합학습에서 데이터 이질성을 단순히 완화하는 대신, 중앙 서버가 각 클라이언트의 분포 특성을 학습해 새로운 질의를 가장 적합한 클라이언트에 자동으로 라우팅하도록 설계한 FedDRM 프레임워크를 제안한다. 밀도비 모델과 경험적 가능도(EL)를 결합해 로컬 모델 학습과 클라이언트 식별을 하나의 목표함수로 통합하고, 실험을 통해 예측 정확도와 라우팅 정밀도가 기존 FL 방법보다 크게 향상됨을 보였다.

상세 분석

FedDRM은 연합학습(Federated Learning, FL)에서 흔히 발생하는 통계적 이질성(heterogeneity)을 “버그”가 아니라 “특징”으로 전환한다는 점에서 혁신적이다. 기존 연구는 주로 클라이언트 업데이트를 평균하거나 가중합해 전역 모델을 만들고, 개인화 기법을 통해 각 클라이언트에 맞춤형 파라미터를 미세조정하는 데 초점을 맞추었다. 반면 FedDRM은 중앙 서버가 단순히 집계자 역할을 넘어, 각 클라이언트의 데이터 분포를 정량화하고 이를 기반으로 새로운 입력을 가장 적합한 클라이언트에 매핑한다. 핵심 이론적 도구는 1979년 Anderson이 제시한 밀도비 모델(Density Ratio Model, DRM)과 2001년 Owen이 만든 경험적 가능도(Empirical Likelihood, EL)이다. DRM은 각 클라이언트의 조건부 분포를 기준 분포에 대한 지수형 밀도비로 표현함으로써, 복잡한 비정규 분포를 직접 추정할 필요 없이 상대적인 차이만을 파라미터화한다. EL은 이러한 DRM 구조 하에서 기준 분포를 원자적 확률 질량(p_ij)으로 비파라메트릭하게 모델링해, 데이터 자체가 likelihood를 제공하도록 만든다.

수식적으로는 먼저 공통 임베딩 g_θ(x)를 정의하고, 라벨 조건부 확률을 소프트맥스 형태(α_k, β_k)로 표현한다. 이후 각 클라이언트 i의 마진 분포 P_i^X는 기준 분포 P_0^X에 대해 exp{γ_i + ξ_i^T h_τ(g_θ(x))} 형태의 밀도비로 연결된다. EL 제약식(∑p_ij=1, ∑p_ij·exp{…}=1)으로 p_ij를 최적화하면, 라그랑주 승수 ρ_l을 도입해 닫힌 형태의 프로파일 로그-EL을 얻는다. 최종 손실은 두 개의 교차 엔트로피(Cross‑Entropy) 항으로 분해되는데, 하나는 전통적인 라벨 예측(타깃 클래스) 손실이고, 다른 하나는 “클라이언트 식별” 손실이다. 클라이언트 식별 손실은 각 샘플이 어느 클라이언트에서 왔는지를 예측하도록 학습되며, 이는 새로운 질의를 가장 높은 확률을 가진 클라이언트로 라우팅하는 근거가 된다.

알고리즘적으로는 기존 FL 루프에 두 단계가 추가된다. 첫째, 각 라운드에서 클라이언트는 로컬 데이터로 임베딩과 두 헤드(타깃 클래스, 클라이언트 클래스)를 업데이트한다. 둘째, 서버는 수집된 로컬 파라미터와 EL 기반 라그랑주 승수를 이용해 전역 파라미터 θ와 DRM 파라미터(γ, ξ)를 갱신한다. 라벨 쉬프트가 존재할 경우, 라벨 비율 π_i를 별도 추정하거나 손실에 보정항을 삽입해 극단적인 라벨 불균형을 완화한다.

실험에서는 CIFAR‑10, FEMNIST, 그리고 의료 데이터셋(예: eICU) 등에서 클라이언트 수가 20100에 달하는 시나리오를 설정했다. 성능 지표는 (1) 전체 모델 정확도, (2) 클라이언트 매칭 정확도(Top‑1 라우팅 성공률)이다. FedDRM은 기존 FedAvg, FedProx, 그리고 최신 개인화 방법(pFedMe, Ditto) 대비 평균 37% 정확도 향상을 보였으며, 라우팅 정확도는 85% 이상으로, 무작위 라우팅(≈1/m) 대비 4배 이상 개선되었다. 또한, Ablation Study를 통해 DRM 파라미터 없이 EL만 사용하거나, 클라이언트 식별 손실을 제외했을 때 성능이 급격히 떨어짐을 확인했다.

한계점으로는 (i) 라그랑주 승수 계산이 클라이언트 수에 선형적으로 증가해 매우 큰 규모(수천)에서는 계산 비용이 부담될 수 있다, (ii) DRM 가정이 심한 분포 차이를 가진 클라이언트에 대해 부정확할 수 있다(예: 완전한 도메인 간 차이). 저자들은 향후 근사 최적화와 비선형 밀도비 모델 확장을 통해 이러한 문제를 해결하고, 실제 의료 현장에서 실시간 환자 라우팅 시스템으로 적용하는 방안을 제시한다.