비동형 클러스터와 데이터 증류를 활용한 하이브리드 연합학습 프레임워크

초록

본 논문은 라벨 분포가 심하게 불균형한 비IID 환경에서 모델 성능 저하를 완화하기 위해, 클라이언트를 이질적인 클러스터로 나누고 각 클러스터 내에서 데이터 증류를 수행해 근사 IID 데이터를 생성한다. 클러스터 헤드가 증류 데이터를 수집·통합하고 서버와 협업 학습함으로써 전통적인 연합학습과 동일한 수렴 특성을 유지하면서 통신 비용과 계산 복잡도를 감소시킨다. 이론적 수렴 한계와 통신·계산 비용 분석을 제공하고, 다중 공개 데이터셋 실험을 통해 라벨 불균형이 심한 경우 기존 연합학습 기법보다 높은 테스트 정확도와 낮은 통신량을 달성함을 입증한다.

상세 분석

본 연구는 비IID 데이터, 특히 라벨 분포 스키우(label distribution skew) 문제를 해결하기 위해 두 가지 핵심 아이디어를 결합한다. 첫 번째는 클라이언트를 ‘이질적 클러스터(heterogeneous clusters)’로 그룹화하는 것이다. 클러스터 내부에서는 라벨이 불균형하지만, 서로 다른 클러스터 간에는 라벨 분포가 균형을 이루도록 설계한다. 이는 기존 클러스터링 기반 연합학습이 클라이언트 간 유사성을 기준으로만 그룹을 형성하는 것과 차별화된다. 두 번째는 각 클러스터 내에서 데이터 증류(dataset distillation)를 적용해 원본 데이터의 핵심 정보를 압축한 소규모 증류 데이터셋을 생성한다. 증류 과정은 KIP(Kernel Inducing Points)와 같은 1차 메타러닝 기법을 활용해 원본 데이터의 손실 함수를 최소화하도록 설계되며, 증류 데이터는 원본 데이터와 거의 동일한 일반화 성능을 유지하면서 크기가 크게 축소된다.

클러스터 헤드가 증류 데이터를 수집하면, 서버와 헤드 간의 통신은 기존의 전체 모델 파라미터 교환보다 훨씬 가벼워진다. 또한 증류 데이터는 라벨이 균형 잡힌 형태로 재구성되므로, 서버‑헤드 간 학습은 사실상 IID 데이터에 대한 전통적인 연합학습(FedAvg)과 동일한 수렴 특성을 가진다. 이론적 분석에서는 전체 손실 함수 f(ω)=∑_{i=1}^N (n_i/n) f_i(ω) 에 대해, 증류 데이터가 원본 데이터의 기대 손실을 ε 수준 내에서 근사한다는 가정 하에, 기존 FedAvg 대비 O(1/√T) 수렴 속도를 유지함을 증명한다. 통신 비용은 각 라운드마다 클러스터 헤드가 전송하는 증류 데이터 크기 |S|와 모델 파라미터 크기 |ω|에 비례하며, |S|≪|T|(원본 데이터 크기)임을 이용해 전체 통신량이 O(T·|S|)로 크게 감소함을 보인다. 계산 복잡도 측면에서는 클라이언트 측에서 증류 과정이 추가되지만, 증류는 1차 메타러닝이므로 O(|S|·d) 수준이며, 클러스터 헤드와 서버는 기존 연합학습과 동일한 연산량을 유지한다.

실험에서는 CIFAR‑10, FMNIST, SVHN 등 다중 공개 데이터셋을 사용해 라벨 불균형 비율을 10:1, 20:1 등으로 조절하였다. HFLDD는 라벨 불균형이 심할수록 FedAvg, FedProx, SCAFFOLD, FedDistill 계열(예: FedDM, FedVCK) 대비 평균 3~7% 높은 테스트 정확도를 기록했으며, 통신 라운드 수는 30%~50% 감소했다. 특히 클러스터 수를 적절히 조정하면 증류 데이터가 충분히 다양해져 모델의 일반화 능력이 유지되는 동시에, 클러스터 헤드의 부하가 과도하게 증가하지 않도록 균형을 맞출 수 있다.

요약하면, HFLDD는 (1) 클러스터 기반 데이터 균형화, (2) 데이터 증류를 통한 통신·계산 효율성 향상, (3) 기존 연합학습 이론과 호환되는 수렴 보장을 동시에 달성한다는 점에서 비IID 환경에 대한 실용적인 해결책을 제시한다.