분산형 연합 클러스터링 알고리즘 DFCA

초록

DFCA는 중앙 서버 없이 클라이언트들이 이웃과 순차적인 평균을 통해 클러스터별 모델을 공동 학습하는 완전 분산형 연합 클러스터링 방법이다. 순차적 실행 평균은 비동기 환경에서도 안정적인 집합을 제공하며, 실험 결과 중앙 집중형 IFCA와 비슷한 정확도를 보이고, 기존 분산 알고리즘보다 우수함을 입증한다.

상세 분석

본 논문은 연합 학습(Federated Learning)에서 데이터 이질성 문제를 해결하기 위해 클러스터링 기반 접근법을 채택했음에도 불구하고, 기존 방법들이 중앙 서버에 의존한다는 근본적인 한계를 지적한다. 이를 극복하기 위해 제안된 DFCA(Decentralized Federated Clustering Algorithm)는 완전 분산 환경을 전제로 설계되었으며, 핵심 아이디어는 두 단계로 나뉜다. 첫째, 각 클라이언트는 현재 보유하고 있는 k개의 모델 파라미터에 대해 로컬 손실을 계산하고, 가장 낮은 손실을 보이는 모델을 선택해 자신을 해당 클러스터에 할당한다. 이 과정은 기존 IFCA와 동일하게 손실 기반 클러스터링을 수행하지만, 매 라운드마다 재평가함으로써 동적인 클러스터 변화를 허용한다. 둘째, 선택된 클러스터 모델에 대해 로컬 SGD를 τ번 수행한 뒤, 이웃 노드와 파라미터를 교환한다. 여기서 가장 혁신적인 부분은 ‘순차 실행 평균(sequential running average)’이다. 전통적인 배치 평균은 모든 이웃이 동시에 업데이트를 전송해야 하는 동기식 가정에 의존하지만, DFCA는 각 이웃으로부터 도착하는 모델을 실시간으로 평균에 반영한다. 수식적으로는 r번째 이웃이 도착했을 때 θ_i,j ← (r·θ_i,j + θ_m,j)/(r+1) 형태로 업데이트한다. 이 방식은 비동기 전송, 네트워크 파편화, 클라이언트 탈락 등에 강인하며, 메모리 사용량도 O(1)로 최소화한다. 또한, 클러스터별로 이웃을 분리(N_i,j)하여 같은 클러스터에 속한 이웃의 모델만 평균에 포함함으로써 클러스터 특성을 보존한다. 이론적 수렴 분석에서는 라플라시안 기반 혼합 행렬 W와 수렴 계수 λ, 비동기 경우의 ˜λ 등을 도입해, 일정한 학습률 γ와 가정(A1A5)을 만족하면 전역 손실 F_global이 지수적으로 감소함을 증명한다. 실험에서는 EMNIST(회전된 이미지), CIFAR‑10, FEMNIST 등 다양한 비IID 데이터셋을 사용했으며, 네트워크 연결 밀도(희소, 완전 그래프)와 초기화 방식(전역 초기화 DFCA‑GI, 로컬 초기화 DFCA‑LI)을 변형해도 성능 저하가 거의 없었다. 특히, 희소 그래프에서도 배치 평균과 거의 동일한 정확도를 유지했으며, 중앙 집중형 IFCA와 비교했을 때 12% 이하의 정확도 차이만을 보였다. 이러한 결과는 DFCA가 실제 IoT 환경처럼 연결이 불안정하고, 장치가 제한된 상황에서도 실용적임을 시사한다.