연합학습 기여도 평가 불안정성을 해소하는 FedRandom 기법

초록

FedRandom은 기존 연합학습에서 Shapley 기반 기여도 추정의 높은 변동성을 통계적 샘플링 확대를 통해 완화한다. 여러 집계 알고리즘을 무작위로 교체해 다량의 기여도 샘플을 생성하고, 평균값을 이용해 보다 일관된 기여도 값을 제공한다. CIFAR‑10, CIFAR‑100, MNIST, FMNIST 데이터셋 실험에서 평균 오차를 1/3 이상 감소시키고, 90 % 이상의 경우에서 안정성을 향상시켰다.

상세 분석

본 논문은 연합학습(Federated Learning) 환경에서 참여자 기여도를 공정하게 평가하는 문제를 다루며, 특히 Shapley 값 기반 기여도 추정이 집계 전략에 따라 크게 달라지는 불안정성을 지적한다. 이를 해결하기 위해 저자들은 기여도 추정을 통계적 추정 문제로 전환하고, 샘플 수를 인위적으로 확대하는 두 가지 방법을 제안한다. 첫 번째는 기존의 여러 집계 알고리즘(FedAvg, FedAvgM, FedAdagrad 등)을 각각 적용해 얻은 기여도 값을 평균내는 MSM(Mean Strategy Method)이다. MSM은 구현이 간단하지만, 사용 가능한 집계 전략의 수가 제한적이어서 샘플 수가 충분히 늘어나지 못한다는 한계가 있다. 두 번째가 핵심 기법인 FedRandom이다. 이는 사전에 선정된 집계 알고리즘 집합 S를 정의하고, 각 통신 라운드마다 S에서 하나를 균등 확률로 선택해 서버 측 집계에 적용한다. 이렇게 하면 라운드 수 r과 집합 크기 s에 비례해 최대 r·s개의 독립적인 기여도 샘플을 생성할 수 있어, 거의 무한에 가까운 샘플링이 가능해진다. 샘플 평균을 최종 기여도 추정값으로 사용함으로써 분산이 크게 감소하고, 편향도 실제 데이터 크기 기반 기여도와 근접한다는 실험 결과를 제시한다. 실험 설계는 Dirichlet 기반 비IID 데이터 분할(α = 1, 10, 100)과 4가지 이미지 데이터셋을 사용해 324개의 시나리오를 구성하고, 각 시나리오마다 8개의 기존 집계 전략과 30번의 FedRandom 실행을 수행해 총 12 000여 개의 연합 학습 과정을 시뮬레이션하였다. 결과는 FedRandom이 MSM에 비해 표준편차를 평균 70 % 이상 감소시키고, 기여도 추정 오차를 절반 이상 줄였으며, 90 % 이상의 경우에서 안정성을 향상시켰음을 보여준다. 또한, FedRandom 자체가 모델 수렴 속도에서는 기존 전략보다 현저히 우수하지 않지만, 기여도 평가라는 특수 목적에서는 비용 대비 큰 효과를 제공한다는 점을 강조한다. 논문은 연합학습에서 공정한 보상 메커니즘을 구현하려는 실무자에게, 추가 연산·통신 비용을 감수하고서라도 기여도 추정의 신뢰성을 확보하는 방안으로 FedRandom을 적용할 것을 제안한다.