연합형 미지 클러스터 수 추정 및 학습 알고리즘

초록

FedGEM은 클라이언트마다 서로 겹칠 수 있는 군집을 갖는 상황에서 전체 클러스터 수를 사전에 알 필요 없이 연합 학습을 수행한다. 각 클라이언트는 로컬 EM 단계와 불확실성 집합(반경) 계산을 반복하고, 서버는 이 집합들의 교차 정보를 이용해 군집 겹침을 탐지·통합해 전역 클러스터 수와 파라미터를 추정한다. 이론적으로 강한 수렴 보장을 제공하며, 등방성 가우시안 혼합 모델에 대해 저복잡도 구현을 제시한다. 실험 결과는 중앙집중 EM에 근접한 성능을 보이며 기존 연합 클러스터링 방법보다 우수함을 입증한다.

상세 분석

FedGEM은 연합 환경에서 “전체 클러스터 수 K가 미지”라는 근본적인 제약을 해결하기 위해 일반화된 기대-최대화(GEM) 프레임워크를 도입한다. 핵심 아이디어는 각 클라이언트가 로컬 데이터에 대해 전통적인 EM을 수행한 뒤, 현재 파라미터 추정치 x̂ₖᵍ에 대해 “불확실성 집합” Uₖᵍ = B₂(x̂ₖᵍ, εₖᵍ)를 정의한다. 여기서 εₖᵍ는 최적화 문제 (3)으로 구해지며, 이는 추정치가 해당 구 안에 머무를 경우 완전 데이터 로그우도(Q)값이 감소하지 않음을 보장한다. 따라서 각 클라이언트는 GEM 조건을 만족하는 업데이트를 수행하게 된다.

서버는 모든 클라이언트에서 전송된 (x̂ₖᵍ, εₖᵍ) 쌍을 받아, 두 구가 겹치는지 ‖x̂ₖᵍ – x̂_{k’}^{g’}‖₂ ≤ εₖᵍ + ε_{k’}^{g’} 인지를 검사한다. 겹치는 경우 해당 두 로컬 컴포넌트를 “슈퍼클러스터”로 병합하고, 병합된 파라미터는 각 구의 교차점에 해당하는 최적 벡터 ν̂를 계산해 평균하거나 가중 평균한다. 이 과정은 모든 컴포넌트 쌍에 대해 반복되며, 최종적으로 서버는 전역 클러스터 수 K̂와 각 클러스터에 대한 전역 파라미터를 얻는다.

이론적 분석에서는 두 가지 주요 가정을 둔다. 첫째, 각 로컬 Q 함수가 파라미터에 대해 강한 볼록성(Strong Concavity)을 갖는다고 가정해 GEM 수렴을 보장한다. 둘째, 전역 클러스터 간 최소 거리 R_min과 최대 거리 R_max를 정의해, 불확실성 반경이 충분히 작을 경우 서로 다른 클러스터가 잘 구분된다는 것을 증명한다. 이러한 가정 하에, 저자들은 확률적 수렴 보장을 제시한다: 충분히 큰 샘플 수 N_g와 적절한 초기화가 주어지면, 알고리즘의 반복은 실제 파라미터 θ°의 근방으로 수렴하고, 최종적으로 K̂ = K (실제 클러스터 수) 를 정확히 복원한다.

특히 등방성 가우시안 혼합 모델(GMM) 경우, EM 단계와 불확실성 반경 계산을 각각 닫힌 형태식으로 전개한다. EM 단계는 기존 GMM의 책임(Responsibility) γₖᵍ와 평균 업데이트 식을 그대로 사용하고, 반경 εₖᵍ는 로그우도 감소 조건을 만족하는 최소값을 구하는 1차 볼록 최적화 문제로 변환된다. 이 문제는 이차식 형태이므로 이분법적(bi-convex) 접근으로 빠르게 풀 수 있다. 또한, 저자는 “1차 안정성(FOS) 조건”을 증명해, 등방성 GMM에 대해 수렴 영역을 명시적으로 제시한다.

통신 측면에서, 각 클라이언트는 매 라운드마다 K_g개의 (평균, 반경) 쌍만 전송하면 되므로, 차원 d와 샘플 수 N_g에 비해 매우 경량이다. 서버는 O(∑_g K_g²) 복잡도로 겹침 검사를 수행하지만, 저자는 근사적 해시 기반 방법을 제안해 실제 구현에서 비용을 크게 낮춘다.

실험에서는 합성 데이터와 실제 이미지/텍스트 데이터셋을 사용해 FedGEM을 평가한다. 결과는 (1) 중앙집중 EM과 거의 동일한 클러스터 정확도, (2) 기존 연합 클러스터링 방법(k‑FED, FedKmeans 등) 대비 높은 ARI 및 NMI 점수, (3) 클러스터 수를 사전에 알지 못하는 상황에서도 정확히 K̂를 복원함을 보여준다. 또한, 클러스터 간 거리(R_min) 가 작아지는 어려운 설정에서도 일정 수준의 성능을 유지한다는 점이 강조된다.

요약하면, FedGEM은 (i) 클러스터 수 미지, (ii) 클라이언트별 클러스터 중첩, (iii) 프라이버시 보존(원시 데이터 비공개)이라는 세 가지 핵심 난제를 동시에 해결하는 최초의 연합 GEM 기반 알고리즘이며, 이론적 수렴 보장과 실용적 구현 효율성을 모두 제공한다.