연합 EM 알고리즘의 빠른 수렴성

초록

본 논문은 연합 환경에서 K개의 선형 회귀 혼합 모델을 학습하기 위해 EM 알고리즘을 적용했을 때, 클라이언트 수와 각 클라이언트당 데이터 양에 관계없이 신호대잡음비(SNR)가 √K 수준이면 초기화만 적절히 하면 전역 최적해로 빠르게 수렴한다는 이론적 결과와 실험을 제시한다.

상세 분석

본 연구는 연합 학습(Federated Learning)에서 데이터 이질성(heterogeneity)이 알고리즘 수렴에 미치는 영향을 정량적으로 분석한다. 저자들은 연합 혼합 선형 회귀(FMLR) 모델을 정의하고, 각 클라이언트가 K개의 혼합 성분 중 하나에만 속하도록 가정한다. 이때 각 클라이언트는 동일한 특성 분포 X∼N(0,I_d)를 가지고, 잡음 ε∼N(0,σ^2)와 독립이다. 모델의 핵심 파라미터는 각 성분의 회귀계수 θ*_k (k∈