분산 환경에서 비라벨 적응을 위한 동적 학습률 조정 FedADE

초록

FedADE는 클라이언트별·시점별 분포 변화를 추정해 학습률을 자동으로 조정하는 무감독 연합 적응 프레임워크이다. 예측 불확실성 변화와 임베딩 드리프트를 각각 코사인 거리로 측정해 결합한 동적 신호 S​t​c​를 기반으로 η​min​와 η​max​ 사이의 학습률을 산출한다. 부분‑공유 구조와 BBSE 기반 라벨 분포 추정으로 라벨이 없는 상황에서도 위험을 추정하고, 이론적으로 동적 후회와 수렴을 보장한다. 이미지·텍스트 벤치마크에서 기존 연합 적응 방법들을 크게 앞선 성능을 기록한다.

상세 분석

FedADE는 연합 학습 환경에서 사후 적응(post‑adaptation) 시 발생하는 두 가지 이질성을 핵심적으로 해결한다. 첫째는 분포 변이 이질성으로, 각 클라이언트가 시간에 따라 서로 다른 라벨 이동이나 공변량 이동을 겪는다. 둘째는 데이터 이질성으로, 사전 학습된 전역 모델과 클라이언트 로컬 데이터 간의 스케일·도메인 차이가 존재한다. 이러한 상황에서 고정 학습률은 급격한 변이에는 과소 적응하고, 완만한 변이에는 발산 위험을 초래한다. FedADE는 이를 피하기 위해 불확실성 동역학과 표현 동역학 두 가지 라벨‑프리 지표를 도입한다.

불확실성 동역학 S​t​unc​는 현재 배치의 평균 소프트맥스 벡터 q​t​c​와 이전 배치 q​t‑1​c​ 사이 코사인 거리를 1‑cos 형태로 정규화해 구한다. 이는 모델이 예측하는 클래스 확률 분포의 변화를 직접적으로 반영한다. 표준화된 확률 벡터만 저장하면 메모리 오버헤드가 |I| 에 비례해 매우 작다.

표현 동역학 S​t​rep​는 공유 레이어 ψ​c​가 추출한 특징 벡터를 ℓ2‑정규화한 후 배치 평균 z​t​c​를 구하고, 이전 배치 z​t‑1​c​와의 코사인 거리를 ½·(1‑cos) 형태로 정규화한다. 이는 임베딩 공간에서의 방향성 변화를 측정해 공변량 이동을 포착한다. 차원 d​에 비례하는 메모리만 필요해 실시간 적용이 가능하다.

두 신호를 평균해 S​t​c​ = ½·(S​t​unc​+S​t​rep​) 를 만든 뒤, 학습률을
η​t​c​ = η​min​ + (η​max​‑η​min​)·S​t​c​
로 설정한다. S​t​c​가 클수록 급격한 분포 변이로 판단해 학습률을 크게 잡아 빠른 적응을 유도하고, 작을수록 안정성을 위해 학습률을 낮춘다.

모델 구조는 공유 레이어 ψ와 개인화 레이어 ϕ로 분리한다. 각 라운드에서 클라이언트는 전체 모델 θ​c​ = {ψ​c​,ϕ​c​} 에 대해 위 학습률로 로컬 업데이트를 수행하고, ψ​c​만 서버에 전송해 가중 평균(데이터 크기 N​t​c​ 기반)으로 집계한다. 이후 서버는 집계된 ψ​¯​를 브로드캐스트하고, 클라이언트는 ψ​c​←ψ​¯​ 후 ϕ​c​만 추가 업데이트한다. 이렇게 하면 전역 지식은 유지하면서 개인화된 적응이 가능하다.

라벨이 없는 상황에서도 위험 F​t​c​를 추정하기 위해 BBSE(Black‑box Shift Estimation)를 활용한다. 사전 학습 단계에서 얻은 혼동 행렬 M​을 이용해 현재 배치의 예측 라벨 분포 Q​t​c​,ˆy​를 보정해 라벨 분포 Q​t​c​,y​를 추정하고, 이를 기반으로 무감독 위험 bF​t​c​를 계산한다.

이론적으로는 (1) 불확실성·표현 동역학의 누적 합이 실제 분포 이동 경로 길이를 근사한다는 오차 경계(Theorem 1)와, (2) 동적 학습률에 기반한 동적 후회(dynamic regret) 상한을 도출한다. 이는 비정상적인 환경에서도 최적에 가까운 적응 속도를 보장한다. 수렴 분석은 비정상성 하에서도 학습률이 적절히 감소하도록 설계돼, 전체 손실이 제한된 범위 내에서 수렴함을 증명한다.

실험에서는 CIFAR‑10/100, DomainNet, Amazon 리뷰 등 네 가지 이미지와 하나의 텍스트 데이터셋을 사용해 라벨 이동과 공변량 이동을 각각 시뮬레이션했다. FedADE는 FedAvg, FedProx, FedAvgM, Fed‑POE, FedSPL 등 강력한 베이스라인 대비 평균 2‑5 % 정확도 향상을 보였으며, 특히 급격한 라벨 이동 상황에서 학습률 조정이 큰 효과를 발휘했다. 통신 비용은 기존 방법과 동일하거나 오히려 감소했으며, 메모리·연산 오버헤드도 경량화된 요약 벡터 q​t​c​와 z​t​c​만 저장하면 되므로 실용성이 높다.

요약하면 FedADE는 라벨‑프리, 경량, 동적 학습률이라는 세 축을 결합해 연합 사후 적응 문제를 해결하고, 이론적 보증과 실험적 검증을 동시에 제공한다.