부분 클라이언트 참여를 위한 Gradient Centralized 연합 학습

초록

GC-Fed는 부분 참여 환경에서 발생하는 클라이언트 드리프트를 완화하기 위해, 로컬 학습 단계에서는 특징 추출 레이어에 Gradient Centralization(GC)을 적용하고, 서버 집계 단계에서는 분류기 레이어에 GC를 적용한다. 이중‑하이브리드 설계는 과거 모델을 참조하지 않는 고정된 초평면을 공유 기준점으로 활용해 업데이트 방향을 정렬하고, 이론적 분석과 실험을 통해 이질적 데이터와 제한된 클라이언트 참여 상황에서 정확도가 최대 20% 향상됨을 입증한다.

상세 분석

GC-Fed는 기존의 참조 기반 드리프트 완화 기법이 부분 참여 시 전체 데이터 분포를 정확히 반영하지 못한다는 한계를 인식하고, Gradient Centralization(GC)을 “역사적으로 독립적인” 공유 초평면으로 재해석한다. GC는 각 레이어의 그래디언트 행렬에서 채널별 평균을 차감함으로써, 수학적으로는 𝐏=𝐈−𝐞𝐞ᵀ 형태의 투영 행렬을 통해 그래디언트를 고정된 초평면에 사영한다. 이 초평면은 모든 클라이언트가 동일하게 사용하므로, 과거 모델이나 클라이언트‑특정 컨트롤 변수에 의존하지 않는다.

구현 측면에서 저자는 두 가지 GC 변형을 제안한다. Local GC는 클라이언트‑측 SGD 과정에서 특징 추출 레이어(보통 Conv/Embedding 레이어)에 적용되어, 로컬 업데이트가 동일한 초평면에 정렬되도록 만든다. 이는 각 클라이언트가 서로 다른 데이터 분포를 가질 때도 그래디언트 방향의 편차를 크게 감소시킨다. Global GC는 서버‑측 집계 시 분류기 레이어(FC/Softmax)만을 대상으로 적용한다. 여기서는 클라이언트별 누적 업데이트를 하나의 글로벌 그래디언트로 보고, 동일한 초평면에 사영함으로써 클래스‑별 파라미터의 변동성을 억제한다.

두 변형을 단독으로 적용하면 각각 장단점이 드러난다. Local GC는 최고 성능을 달성하지만 라운드‑간 변동이 커서 수렴이 불안정하고, Global GC는 안정적인 수렴을 보이지만 피크 성능이 다소 낮다. 이를 보완하기 위해 Hybrid GC-Fed를 설계했으며, 레이어‑와스(특징‑추출 vs. 분류기) 구분을 통해 두 장점을 동시에 활용한다.

이론적 분석에서는 GC가 그래디언트의 평균을 0으로 만들면서 분산을 감소시키는 효과를 보이며, 이는 기존 변분 감소(VR) 기법과 유사하지만 추가적인 메모리·통신 비용이 없다는 점을 강조한다. 또한, 부분 참여 시 전체 클라이언트 집합을 근사하는 샘플링 편향을 초평면 투영으로 완화함으로써, 글로벌 업데이트와 실제 전체 업데이트 간의 L2 거리(그림 1b) 감소를 수식적으로 증명한다.

실험에서는 CIFAR‑10/100, FEMNIST, Shakespeare 등 다양한 비동질 데이터셋과 10%~30% 클라이언트 참여 비율을 설정해 FedAvg, FedProx, SCAFFOLD, FedOpt, FedVARP 등 최신 방법과 비교하였다. 결과는 대부분의 설정에서 GC-Fed가 최종 정확도와 수렴 속도 모두에서 우위를 점했으며, 특히 참여율이 10% 이하로 떨어질 때 15%~20% 수준의 정확도 향상을 기록한다. 또한, 학습 곡선의 변동성(표준편차)도 기존 방법보다 현저히 낮아 실용적인 배포에 유리함을 보여준다.

전체적으로 GC-Fed는 “역사적 참조 없이도 공유된 초평면을 이용해 그래디언트를 정렬한다”는 간단하면서도 강력한 아이디어를 기반으로, 부분 참여가 일반적인 크로스‑디바이스 연합 학습 시나리오에 적합한 새로운 드리프트 완화 프레임워크를 제시한다.