연합 선형 확률 근사와 TD 학습의 이질성 제어

초록

본 논문은 연합 환경에서 선형 확률 근사(FedLSA)의 표본 및 통신 복잡도를 정밀히 분석하고, 이질적인 클라이언트가 초래하는 편향을 제어 변수로 보정하는 새로운 알고리즘 SCAFFLSA를 제안한다. SCAFFLSA는 통신 횟수를 로그 스케일로 감소시키면서 에이전트 수에 대한 선형 속도 향상을 유지한다. 또한 이 방법을 선형 함수 근사를 이용한 연합 TD 학습에 적용해 복잡도 개선을 입증한다.

상세 분석

FedLSA는 각 클라이언트가 로컬 데이터에서 얻은 확률적 오라클을 이용해 선형 시스템 ( \bar A\theta^\star=\bar b ) 을 반복적으로 근사하고, 일정한 주기마다 서버와 평균을 통해 전역 파라미터를 동기화한다. 논문은 이 과정에서 발생하는 두 가지 주요 오류, 즉 (1) 로컬 업데이트 횟수 (H) 에 비례하는 이질성 편향 ( \bar\rho_H ) 와 (2) 로컬 오라클의 고분산 잡음 ( \bar\phi_{t,H} ) 를 정확히 분해한다. 기존 분석은 편향을 무시하거나 통신 비용을 크게 늘리는 트레이드오프에 머물렀지만, 저자는 ( \Gamma(c,\eta) ) 행렬의 지수적 안정성을 이용해 편향이 ( (I-\eta\bar A_c)^H ) 에 의해 지수적으로 감소함을 보였다. 그러나 이 감소율은 (H) 가 작을 때만 유의하며, 이질성이 심한 경우 여전히 큰 편향이 남는다.

이를 해결하기 위해 제안된 SCAFFLSA는 각 클라이언트에 (c) 번째 에이전트의 로컬 평균 ( \bar A_c,\bar b_c ) 에 대한 보정 변수 (s_c) 를 유지한다. 로컬 업데이트 시 (s_c) 를 빼는 형태로 ( \theta_{c}^{t,h}= \theta_{c}^{t,h-1} -\eta\big(A_c(Z_{c}^{t,h})\theta_{c}^{t,h-1}-b_c(Z_{c}^{t,h}) - s_c\big) ) 를 수행한다. 서버는 각 라운드 후 (s_c) 를 최신 전역 파라미터와 비교해 업데이트함으로써, 클라이언트 드리프트를 정확히 상쇄한다. 이 설계는 기존 Scaffnew이 달성한 로그‑스케일 통신 복잡도와 동일하지만, 중요한 차이점은 표본 복잡도에 (1/N) 스케일의 선형 가속을 보존한다는 점이다. 즉, 전체 표본 수 (T) 가 (O\big(\frac{1}{N\varepsilon^2}\log\frac1\varepsilon\big)) 으로 감소한다. 이는 기존 분석에서 놓쳤던 ( \mathbb{E}|\theta^t-\theta^\star|^2 ) 의 (1/N) 감소 효과를 새로운 확률적 전개와 변동‑보정 항의 정밀한 경계로 증명한다.

또한 저자는 i.i.d. 샘플뿐 아니라 마코프 체인 기반의 (Z_{c}^{t,h}) 에 대해서도 결과를 확장한다. 마코프 가정 (A2) 하에서는 믹싱 시간 (\tau_{\text{mix}}(c)) 에 비례하는 추가 오차 항이 존재하지만, 이를 상수에 흡수해 동일한 차수의 복잡도 경계를 얻는다. 마지막으로, 선형 함수 근사를 이용한 TD(0) 학습을 연합 LSA 형태로 변환함으로써, SCAFFLSA가 정책 가치 함수 추정에 적용될 때도 동일한 통신·표본 효율성을 보장함을 실험과 이론으로 확인한다. 전체적으로 이 논문은 제어 변수 기반 편향 보정이 연합 확률 근사와 강화 학습에서 통신 효율과 샘플 효율을 동시에 최적화할 수 있음을 최초로 증명한다.