노이즈가 섞인 평균 합의: 수렴 시간과 초기 평균 편차의 새로운 확률적 경계

초록

본 논문은 무작위 쌍 선택을 통한 분산 평균 합의 프로토콜에 가우시안 잡음이 추가된 경우, (i) 실행 평균(런닝 평균)과의 편차 (\bar\phi(t))가 (O(n)) 수준으로 수렴하는 정확한 라운드 수를 확률적으로 제시하고, (ii) 초기 평균과의 편차 (TSS(t))가 (O(n^2)) 라운드 동안은 작게 유지되지만 이후에는 선형적으로 증가한다는 정량적 분석을 제공한다. 또한 동기식 모델, 정수값 제한 및 랜덤 라운딩까지 확장한다.

상세 분석

이 연구는 완전 그래프 위에서 매 라운드마다 무작위로 두 에이전트를 선택해 서로 값을 교환하고, 각자는 자신의 현재 값과 수신값(잡음이 더해진)을 평균내어 업데이트하는 가장 단순한 평균 합의 프로토콜을 고려한다. 잡음은 평균이 0인 가우시안(또는 일반적인 지수적 감소를 갖는 분포)이며, 이로 인해 전체 평균이 시간에 따라 드리프트한다는 점이 핵심 난점이다. 저자들은 두 가지 품질 지표를 도입한다. 첫 번째는 초기 평균 (\emptyset(0))와 현재 값들의 제곱 차합인 (TSS(t)=\sum_i (X_i(t)-\emptyset(0))^2)이며, 두 번째는 현재 평균 (\emptyset(t))와의 차합인 (\bar\phi(t)=\sum_i (X_i(t)-\emptyset(t))^2)이다. 기존 연구는 (\bar\phi(t))가 결국 작아짐을 보였지만, 수렴 속도와 (TSS(t))의 구체적 거동은 알려지지 않았다.

저자들은 잠재함수 분석과 마코프 체인 마이너링 기법을 결합해 다음과 같은 정량적 결과를 얻는다. (1) (\bar\phi(t))는 초기 불균형 (b=\max_{i,j}|x_i(0)-x_j(0)|)에 대해 (\ln b) 만큼의 병렬 시간(한 라운드당 (n)개의 상호작용을 의미) 후에 (O(n\sigma^2)) 수준으로 급격히 감소한다. 이때 감소율은 상수 팩터이며, 기대값 기준으로도 (\Omega(n\sigma^2)) 이하로 떨어지지 않는다. 즉, (\Theta(n)) 수준의 편차가 최선이며, 이는 (\Omega(\ln b)) 라운드가 필요함을 의미한다. (2) (TSS(t))는 잡음에 의해 평균이 드리프트하면서 선형적으로 증가한다. 그러나 저자들은 가우시안 잡음 모델에서 (t=O(n^2)) 라운드까지는 (\mathbb{E}