데이터 드리프트에 강인한 클러스터형 연합학습 프레임워크 FIELDING

초록

FIELDING은 클러스터형 연합학습(Federated Learning)에서 발생하는 라벨·공변량·컨셉 드리프트를 저비용으로 탐지하고, 개별 클라이언트 조정과 선택적 전역 재클러스터링을 결합해 클러스터 품질을 유지한다. 경량 라벨 분포 벡터와 필요 시 그래디언트 정보를 활용해 모든 드리프트 클라이언트를 재배치하고, 클러스터 중심 이동이 일정 임계값을 초과하면 전체 재클러스터링을 수행한다. 실험 결과, 최종 정확도가 1.95.9% 향상되고 목표 정확도 도달 속도가 1.162.23배 빨라졌다.

상세 분석

FIELDING은 연합학습 환경에서 클라이언트 데이터가 시간에 따라 변하는 ‘데이터 드리프트’를 세 가지 유형(라벨 쉬프트, 공변량 쉬프트, 컨셉 쉬프트)으로 구분하고, 각각에 적합한 클라이언트 표현을 선택적으로 사용한다. 라벨 쉬프트와 공변량 쉬프트는 라벨 분포 벡터(히스토그램)만으로 충분히 포착할 수 있어 통신·연산 비용이 거의 들지 않는다. 반면 컨셉 쉬프트는 입력‑출력 관계가 변하기 때문에 그래디언트 혹은 손실 기반의 표현이 필요하다. FIELDING은 기본적으로 라벨 분포를 사용하고, 드리프트 탐지 시 그래디언트를 추가 요청함으로써 비용을 최소화한다.

클러스터 재구성 전략은 두 단계로 이루어진다. ① 개별 클라이언트 조정: 드리프트가 감지된 클라이언트는 현재 클러스터 중심과의 L1 거리를 계산해 가장 가까운 클러스터로 이동한다. 이때 클러스터 중심은 즉시 업데이트되지 않아 순서 의존성을 제거한다. ② 선택적 전역 재클러스터링: 모든 개별 이동이 끝난 뒤 클러스터 중심들의 평균 거리(θ)를 구하고, 어느 하나라도 θ/3 이상 이동하면 전체 클라이언트를 대상으로 k‑means 재클러스터링을 수행한다. k값은 실루엣 점수가 가장 높은 값을 자동 선택한다. 이 임계값 기반 트리거는 작은 드리프트 상황에서 불필요한 전역 재클러스터링을 방지해 학습 안정성을 높인다.

알고리즘적 관점에서 FIELDING은 기존 IFCA·FlexCFL과 달리 고정된 클러스터 수에 얽매이지 않으며, FedDrift·Auxo처럼 모든 클라이언트의 학습 출력을 요구하지 않는다. 대신 라벨 분포와 선택적 그래디언트라는 경량 메타데이터만을 수집하므로 통신량이 크게 감소한다. 실험에서는 FedScale 기반 시뮬레이터 위에 5,078개의 이미지 스트리밍 클라이언트를 배치하고, 라벨·공변량·컨셉 드리프트를 혼합한 4가지 시나리오를 재현했다. 결과는 (1) intra‑cluster heterogeneity가 전역 재클러스터링만 사용할 때보다 30% 이상 낮아졌고, (2) 최종 모델 정확도가 기존 CFL 방법 대비 평균 3.8% 상승했으며, (3) 목표 정확도에 도달하는 라운드 수가 최대 2.23배 감소했다는 점이다. 또한 악의적인 클라이언트가 일부 라벨을 조작해도 클러스터링 과정에서 평균 거리 기반 필터링을 적용해 영향력을 제한한다.

이론적 분석에서는 클라이언트 표현이 시간에 따라 점차 안정화된다는 가정 하에, 각 라운드에서의 기대 손실 감소량을 상한선으로 제시하고, 선택적 전역 재클러스터링이 발생할 확률을 드리프트 강도와 클러스터 중심 이동량에 대한 함수로 정량화한다. 이를 통해 수렴 속도가 기존 CFL보다 동일하거나 더 빠름을 보장한다.

전반적으로 FIELDING은 (1) 다양한 드리프트 유형을 포괄적으로 탐지·대응, (2) 통신·연산 오버헤드를 최소화, (3) 클러스터 품질을 동적으로 유지, (4) 악성 클라이언트에 대한 내성을 제공한다는 네 가지 핵심 장점을 갖는다.