다양한 클라이언트 참여를 지원하는 효율적 연합학습 FedSUM 패밀리

초록

FedSUM 패밀리는 임의의 클라이언트 참여 상황에서도 데이터 이질성에 별도 가정 없이 수렴을 보장하는 연합학습 알고리즘군이다. 최대 지연 τₘₐₓ와 평균 지연 τₐᵥg라는 두 지연 지표를 도입해 참여 변동성을 정량화하고, FedSUM‑B(기본), FedSUM(표준), FedSUM‑CR(통신 감소) 세 변형을 제시한다. 통합 수렴 분석을 통해 기존 방법들의 특수 경우를 포함하면서도 통신·메모리 비용을 FedAvg 수준으로 낮춘다.

상세 분석

본 논문은 연합학습(Federated Learning, FL)에서 가장 실무적인 제약 중 하나인 ‘클라이언트 참여 불규칙성’에 초점을 맞춘다. 기존 연구들은 주로 균등 랜덤 샘플링, 사전 정의된 확률 모델, 혹은 주기적 사이클 등 제한된 참여 패턴을 전제로 알고리즘을 설계했으며, 데이터 이질성에 대한 추가 가정(예: 로컬 그래디언트와 글로벌 그래디언트의 차이 제한)이나 다중 로컬 업데이트에 대한 복잡한 보정 메커니즘을 도입했다. 이러한 접근법은 실제 환경에서 클라이언트의 연결 상태, 배터리 수준, 연산 능력 등이 시간에 따라 크게 변동하는 상황에 취약하다.

FedSUM 패밀리는 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 클라이언트 참여 변동성을 ‘최대 지연 τₘₐₓ’와 ‘평균 지연 τₐᵥg’라는 두 메트릭으로 정량화한다. τₘₐₓ는 전체 학습 과정 중 가장 오래 참여하지 않은 클라이언트가 발생한 라운드 차이를, τₐᵥg는 전체 라운드에 걸친 평균 지연을 나타낸다. 이 두 지표는 참여 패턴이 어떠한 형태이든(확률적·결정적·동질·이질) 하나의 수식적 프레임워크 안에 포함될 수 있게 해준다.

둘째, ‘Stochastic Uplink‑Merge’ 기법을 도입한다. 각 활성 클라이언트는 현재 라운드에서 계산한 미니배치 평균 그래디언트와 마지막으로 서버에 전송한 그래디언트 차이 δ(t)ᵢ만을 전송한다. 서버는 이 차이들을 누적해 전역 제어 변수 y(t)를 업데이트하고, y(t)는 “가장 최근에 참여한 모든 클라이언트들의 누적 그래디언트”를 근사한다. 따라서 클라이언트가 오래동안 비활성화돼도 이전에 전송한 그래디언트가 y(t)에 남아 있어, 데이터 이질성에 의해 발생할 수 있는 편향을 자연스럽게 보정한다.

알고리즘 구조는 세 변형으로 나뉜다. FedSUM‑B는 업링크와 다운링크 모두 단일 변수만 교환하고 로컬 업데이트를 전혀 수행하지 않아 통신·메모리 비용이 FedAvg 수준이다. FedSUM은 기본 버전에 서버‑클라이언트 양쪽에 제어 변수를 추가해 SCAFFOLD과 동등한 수렴 속도를 달성하면서도 통신량은 동일하게 유지한다. 마지막으로 FedSUM‑CR은 다운링크에서도 차이 전송 방식을 적용해 전체 통신량을 더욱 감소시킨다.

수렴 분석에서는 부드러움(L‑smooth)과 제한된 분산(σ²)이라는 최소 가정만을 필요로 하며, 데이터 이질성에 대한 별도 제한을 두지 않는다. 주요 정리는 τₘₐₓ와 τₐᵥg가 수렴 속도에 선형적으로 영향을 미친다는 것으로, τₘₐₓ가 작을수록, τₐᵥg가 낮을수록 기존 SCAFFOLD·FedAvg 대비 동일하거나 더 빠른 수렴을 보인다. 또한, 특수 케이스(예: 균등 랜덤 샘플링, 고정 확률 참여, 주기적 사이클)에 대해 기존 전용 알고리즘들의 수렴 결과를 그대로 복원함을 증명함으로써, FedSUM 패밀리가 ‘범용적인’ 연합학습 프레임워크임을 입증한다.

실험 부분에서는 시뮬레이션과 실제 모바일 환경에서 네 개의 참여 패턴을 재현하고, CIFAR‑10, FEMNIST, Shakespeare 등 이질적인 데이터셋에 대해 FedSUM‑B, FedSUM, FedSUM‑CR을 비교했다. 결과는 τₘₐₓ와 τₐᵥg가 증가할수록 성능 저하가 발생하지만, 기존 방법들에 비해 동일한 지연 조건에서도 정확도·수렴 속도 모두 우수함을 보여준다. 특히 통신 감소 버전인 FedSUM‑CR은 30 % 정도의 업링크·다운링크 트래픽 절감에도 불구하고 1‑2 % 수준의 정확도 손실만을 보이며 실용성을 강조한다.

요약하면, FedSUM 패밀리는 (1) 임의의 클라이언트 참여를 정량화하는 두 지연 메트릭, (2) 차이 기반 업링크‑머지 기법, (3) 통신·메모리 효율성을 유지하면서 데이터 이질성에 강인한 수렴 보장을 제공한다는 점에서 연합학습 연구에 중요한 진전을 제공한다.