다중 서버 연합 학습을 위한 충돌 인식 클라이언트 선택

초록

본 논문은 다중 서버 연합 학습 환경에서 클라이언트 선택 시 발생하는 자원 충돌을 최소화하기 위해, 각 서버가 과거 선택 이력을 기반으로 충돌 위험을 예측하는 범주형 숨은 마르코프 모델(HMM)을 도입하고, 공정성을 고려한 보상 함수를 포함한 분산 강화학습(SAC) 프레임워크를 제안한다. 실험 결과, 제안 방법(RL‑CRP)은 충돌 감소와 학습 수렴 속도 향상, 통신 비용 절감에서 기존 방법들을 크게 능가한다.

상세 분석

본 연구는 다중 서버 연합 학습(Multi‑Server FL)에서 클라이언트가 여러 서버의 커버리지에 겹쳐 존재함에 따라 발생하는 선택 충돌(conflict) 문제를 체계적으로 해결하고자 한다. 먼저, 각 서버는 자체적으로 수집한 클라이언트 선택 기록이 시간적으로 불완전하고 희소(sparse)하다는 현실을 반영해, 범주형 HMM을 이용해 누락된 시점의 선택 상태를 보정한다. HMM은 K개의 숨은 상태와 V개의 관측 카테고리(충돌/비충돌)로 구성되며, 전방‑후방 알고리즘을 통해 현재 시점 t의 충돌 확률 p_i(t)를 추정한다. 파라미터 업데이트는 증분 Baum‑Welch 방식을 사용해 새로운 관측이 들어올 때마다 실시간으로 적응한다. 이와 같은 충돌 위험 예측은 서버가 클라이언트를 선택할 때 “잠재적 충돌”을 사전에 회피하도록 �와, 네트워크 대역폭과 연산 자원의 비효율적 사용을 크게 감소시킨다.

다음으로, 서버별 강화학습 에이전트를 설계한다. 상태 s_m은 현재 클라이언트들의 업로드 지연 L_m과 HMM이 제공한 충돌 확률 P_m을 포함한다. 행동 a_m은 고정된 S개의 클라이언트를 선택하는 조합이며, Soft Actor‑Critic(SAC) 알고리즘을 기반으로 정책 π_ϕ와 두 개의 Q‑네트워크(Q_θ1, Q_θ2)를 학습한다. 보상 함수 r_m = −L_m − C_m + α·f는 세 가지 요소를 동시에 최적화한다. 여기서 L_m은 선택된 클라이언트 중 최악의 지연을, C_m은 실제 충돌·타임아웃 발생 비용을, f는 tanh(μ/δ+ε) 형태의 공정성 지표로, μ는 클라이언트별 평균 참여 라운드 수, δ는 그 표준편차이다. α는 공정성 목표와 지연·충돌 최소화 사이의 트레이드오프를 조절한다. 공정성 보상은 저성능·저대역폭 클라이언트의 지속적인 참여를 유도해 데이터 이질성(Non‑IID) 상황에서도 모델 정확도를 높인다.

또한, 선택된 클라이언트에 대한 채널 대역폭 할당은 물 채우기(water‑filling) 방식으로 수행한다. 채널 품질이 높은 클라이언트부터 순차적으로 할당하고, 전체 대역폭 B가 소진될 때까지 진행한다. 이는 제한된 무선 자원을 효율적으로 활용하면서도 충돌 위험이 낮은 클라이언트에 우선권을 부여한다.

실험에서는 CIFAR‑10 데이터셋을 IID와 비IID(Dirichlet α=0.1) 두 환경에서 평가하였다. 서버 2대, 클라이언트 50명(40명은 겹치는 커버리지) 설정에서, RL‑CRP는 테스트 정확도 67.68% (IID)와 61.32% (Non‑IID)를 달성했으며, 이는 기존 FedAvg, 공정성 없는 RL‑CRP, ENSAC 대비 각각 4~7%p 상승한 수치이다. 보상 수렴 속도 역시 ENSAC보다 빠르게 안정화되었으며, 충돌 발생률이 현저히 낮아 전체 학습 라운드당 평균 지연이 감소하였다.

핵심 기여는 (1) 희소하고 오래된 선택 이력을 보정해 충돌 위험을 정량화하는 HMM 기반 예측 모듈, (2) 충돌 회피와 공정성 보상을 동시에 고려한 분산 SAC 프레임워크, (3) 실제 무선 환경을 모사한 대역폭 할당 전략을 통합해 다중 서버 연합 학습의 효율성을 크게 향상시킨 점이다. 이러한 설계는 서버 간 통신 오버헤드 없이 독립적으로 동작하므로 확장성이 뛰어나며, 동적 네트워크와 이질적인 데이터 분포를 가진 실환경 IoT/모바일 시나리오에 적용 가능하다.