제한된 클라이언트 참여를 위한 적응형 분산 감소 연합 학습

초록

FedAdaVR는 서버 측 적응형 옵티마이저와 SAGA‑스타일 분산 감소 기법을 결합해, 일부 클라이언트만 참여하는 상황에서 발생하는 편향과 잡음을 완화한다. 최신 클라이언트 업데이트를 저장·재활용하고, 저장된 업데이트를 FP16·Int8·Int4와 같은 저비트 형식으로 양자화한 FedAdaVR‑Quant은 메모리 사용량을 최대 87.5 % 절감하면서도 성능 저하가 없다. 비공식적 비볼록 조건 하에서 수렴성을 증명했으며, IID·비IID 데이터와 극단적인 클라이언트 불참 시나리오에서 기존 최첨단 방법들을 지속적으로 앞섰다.

상세 분석

FedAdaVR는 기존 연합 학습(FedAvg)에서 드러나는 두 가지 핵심 오류, 즉 데이터 이질성으로 인한 클라이언트 드리프트와 제한된 클라이언트 참여로 인한 편향을 동시에 다루려는 시도다. 핵심 아이디어는 서버가 각 클라이언트의 가장 최신 업데이트를 지속적으로 보관하고, 해당 클라이언트가 현재 라운드에 참여하지 않을 경우 보관된 업데이트를 대체값으로 사용함으로써 ‘가상 참여’를 구현한다. 이때 단순 평균이 아닌 SAGA‑스타일 분산 감소 식(6)을 적용해 현재 라운드의 실제 업데이트와 보관된 업데이트 간 차이를 보정한다.

분산 감소는 무작위 클라이언트 샘플링으로 인한 편향을 기대값이 0인 추정량으로 변환시켜, 전체 업데이트의 분산을 크게 낮춘다. 특히, 보관된 업데이트 y(t)j 를 그대로 사용하면 전체 클라이언트 집합에 대한 평균을 유지할 수 있어, 부분 참여에 의해 발생하는 전역 모델의 편향을 이론적으로 제거한다.

서버 측 적응형 옵티마이저는 Adam, Adagrad, AdaBelief, Yogi, Lamb 등 다양한 변형을 지원한다. 적응형 학습률은 클라이언트별 업데이트 빈도 차이를 자동 보정해, 자주 참여하지 않는 클라이언트가 가진 중요한 파라미터가 과소 업데이트되는 현상을 완화한다. 또한, 비공식적 비볼록 가정 하에서 수렴 속도는 O(1/√T) 수준을 유지함을 정리 1‑3에서 증명한다.

FedAdaVR‑Quant은 메모리 병목을 해결하기 위해 저장된 업데이트를 저비트 양자화한다. FP16(반정밀), Int8(8비트 정수), Int4(4비트 정수) 양자화 방식을 각각 적용했으며, 양자화·역양자화 연산이 적은 오버헤드만을 추가한다. 실험 결과, 양자화된 업데이트가 원본 32비트 부동소수점과 거의 동일한 수렴 궤적을 보이며, 메모리 사용량을 50 %~87.5 % 절감한다는 점에서 실용적 가치가 크다.

실험에서는 CIFAR‑10, FEMNIST, Shakespeare 등 다양한 데이터셋을 IID와 비IID(Dirichlet α=0.1 등) 환경에서 테스트했다. 클라이언트 참여 비율을 10 %~30 % 수준으로 낮추었을 때도 FedAdaVR는 FedAvg, FedProx, SCAFFOLD, FedV‑ARP 등 기존 방법보다 2 %~8 % 높은 최종 정확도와 빠른 수렴을 기록했다. 특히, 라벨 수가 극히 적은 극단적 스키우 상황에서도 FedAdaVR‑Quant이 가장 안정적인 성능을 보였다.

요약하면, FedAdaVR는 (1) 서버‑측 적응형 옵티마이저와 SAGA‑형 분산 감소를 결합해 부분 참여 오류를 이론적으로 제거하고, (2) 저장된 클라이언트 업데이트를 양자화해 메모리 효율성을 크게 향상시키며, (3) 비공식적 비볼록 환경에서도 수렴을 보장한다는 세 가지 주요 기여를 제공한다.