동적 그래프와 전문가 혼합으로 개인화된 연합 시계열 예측

초록

Fed‑GAME은 클라이언트별 파라미터 차이를 이용해 전역 모델과 개인 모델을 분리하고, 서버에서 그래프 어텐션 혼합‑전문가(MoE) 집계기를 학습해 동적인 암시적 그래프 위에서 맞춤형 업데이트를 수행한다. 전기차 충전 수요 데이터에서 기존 개인화 연합 학습 방법들을 크게 능가한다.

상세 분석

Fed‑GAME은 연합 학습(Federated Learning) 환경에서 시계열 예측을 수행할 때, 클라이언트 간 이질성(heterogeneity)을 두 단계로 분리한다. 첫 번째 단계는 각 클라이언트가 자신의 사설 모델 MA와 전역 모델 MB를 각각 fine‑tune한 뒤, 두 모델 간 파라미터 차이 Δi = wA,i − wB 를 서버에 전송한다. 이 차이는 전역 합의를 위한 평균 Δd와, 개인화에 활용될 선택적 차이 Δu,i (주로 최상위 MLP 레이어)로 나뉜다. 전역 모델은 단순 평균 업데이트로 지속적인 지식을 축적하고, 개인화 파트는 서버에서 새로운 GAME 집계기(Gra​ph Attention Mixture‑of‑Experts)로 처리된다.

GAME 집계기는 두 구성요소로 이루어진다. 첫 번째는 M개의 공유 스코어링 전문가(Ek)이며, 각 전문가는 두 클라이언트의 저차원 임베딩 ej, ei (Encoder를 통해 압축) 를 입력받아 스칼라 유사도 sij,k = Ek(