서버리스 연합학습을 위한 프라이버시·통신 효율 강화 프레임워크 ERIS

초록

ERIS는 클라이언트 측에서 모델을 파티셔닝하고 다중 집계자를 활용해 통신 부하를 분산시키며, 이동된 그래디언트에 대한 압축을 적용한다. 이 설계는 FedAvg와 동일한 수렴 속도를 보장하고, 집계자 수가 늘어날수록 정보‑이론적 프라이버시 누수를 역비례적으로 감소시킨다. 실험 결과, 대규모 이미지·텍스트 모델에서 정확도 손실 없이 통신량을 크게 줄이고, 멤버십 추론·재구성 공격에 대한 강인성을 확보한다.

상세 분석

ERIS는 기존 연합학습(Federated Learning, FL)의 두 핵심 병목—서버 중심의 대용량 파라미터 전송과 그래디언트 기반 프라이버시 위험—을 동시에 해결한다. 첫 번째 기법인 모델 파티셔닝은 각 클라이언트가 계산한 압축된 그래디언트를 A개의 비중첩 마스크로 나누어 A개의 독립 집계자에게 전송한다. 이때 각 집계자는 전체 파라미터가 아닌 파라미터의 부분 집합만을 관찰하므로, 단일 관찰자가 얻을 수 있는 정보가 제한된다. 두 번째 기법인 **분산 시프트 압축(shifted compression)**은 기존 무편향 압축기(ω‑compression)를 확장해, 클라이언트가 로컬 레퍼런스 벡터 sₜᵏ를 유지하고 (g̃ₜᵏ−sₜᵏ)를 압축한다. 압축 후 레퍼런스를 업데이트함으로써 누적 오류를 억제하고, 압축률을 높이면서도 수렴성을 유지한다.

이론적 분석에서는 (i) 수렴 보장을 위해 L‑smooth와 무편향 추정 가정 하에 학습률 λₜ와 시프트 스텝 γₜ를 적절히 설정하면, ERIS의 평균 그래디언트 노름이 FedAvg와 동일한 O(1/√T) 수렴률을 갖는다는 정리(Thm 3.6)를 제시한다. 여기서 핵심은 압축 오차 ω와 그래디언트 분산 C₂가 유한한 경우에도 추가적인 T‑의존 항이 없다는 점이다. (ii) 프라이버시 분석에서는 집계자 수 A와 압축 비율 p가 증가할수록 각 집계자가 관찰하는 정보량이 감소함을 보이며, 상호정보량 I(Δ; 관찰) ≤ O(1/A·p) 형태의 상한을 도출한다. 이는 기존 암호 기반 안전 집계(Secure Aggregation) 대비 계산·통신 비용 없이 정보‑이론적 프라이버시 증폭을 제공한다는 의미다.

실험에서는 CIFAR‑10, ImageNet, GLUE, 그리고 2.7 B 파라미터 규모의 LLM을 포함한 5개 데이터셋에 대해 ERIS와 FedAvg, DP‑FedAvg, 압축+DP 조합, Secure Aggregation 등을 비교했다. 결과는 (1) 정확도 측면에서 ERIS가 FedAvg와 거의 차이가 없으며, DP 기반 방법은 2~5% 정도 정확도 손실을 보였다. (2) 통신량은 평균 96% 감소, 최악 경우 99.7% 감소를 기록했고, 전송 라운드당 지연도 10³배 가량 단축되었다. (3) 보안 측면에서는 멤버십 추론 공격 성공률이 FedAvg 대비 30% 이하로 감소하고, 재구성 공격에 대한 복원 품질이 크게 저하되었다.

한계점으로는 (a) 집계자 A가 충분히 많아야 프라이버시 이득이 크게 나타나며, 실제 네트워크 토폴로지에서 A를 어떻게 배치할지에 대한 설계 가이드가 부족하다. (b) 압축 마스크와 레퍼런스 업데이트가 동기화되지 않을 경우 수렴 속도가 느려질 수 있으며, 비동기 환경에 대한 분석이 미비하다. (c) 현재 구현은 클라이언트와 집계자 간의 신뢰 관계를 전제로 하며, 집계자 자체가 악의적일 경우 추가적인 방어 메커니즘이 필요하다. 전반적으로 ERIS는 서버 없는 대규모 FL에 실용적인 솔루션을 제공하지만, 실제 배포 시 네트워크 토폴로지와 악성 집계자 방어 전략을 함께 고려해야 한다.