경량형 연합학습을 위한 통계적 업데이트 지문 기반 비잔틴 방어

초록

TinyGuard는 고차원 그래디언트를 직접 비교하는 대신, 각 클라이언트 업데이트를 정규화·층별 비율·희소도·저차 모멘트 등으로 요약한 저차원 통계 지문을 추출한다. 서버는 이 지문 공간에서 강인한 통계 거리와 임계값 기반 이상치 탐지를 수행해 비잔틴 클라이언트를 식별하고, 기존 FedAvg 집계는 그대로 사용한다. 실험 결과 MNIST·Fashion‑MNIST·ViT‑Lite·ViT‑Small에 대해 50‑150명의 클라이언트 환경에서 0.8 이상의 탐지 정밀도와 95 % 수준의 테스트 정확도를 유지하면서, 기존 Krum·TrimmedMean 대비 연산량을 O(n d) → O(n) 수준으로 크게 감소시켰다.

상세 분석

TinyGuard의 핵심 아이디어는 “통계적 업데이트 지문”이라는 저차원 특징 벡터를 통해 고차원 그래디언트의 행동 양상을 압축하는 것이다. 구체적으로 각 클라이언트 i의 로컬 그래디언트 g_i∈ℝ^d에 대해 (1) L2, L1, L∞ 노름, (2) 층별 L2 비율, (3) 평균·분산·왜도와 같은 저차 모멘트, (4) ε 이하 절댓값을 갖는 원소 비율(희소도), (5) 상위 k값의 절대값 합 대비 전체 L1 노름 비율을 계산한다. 이들 m개의 실수값을 하나의 벡터 φ_i∈ℝ^m에 결합한다. m은 d에 비해 몇 십 정도에 불과하므로, 전체 클라이언트 n에 대해 O(n m)≈O(n) 비용으로 지문을 생성할 수 있다.

탐지 단계에서는 서버가 수집한 φ_i들에 대해 강인한 통계량(중앙값·MAD)을 이용해 전체 집합의 중심 μ와 스케일 σ를 추정한다. 각 φ_i에 대해 Mahalanobis‑like 거리 d_i = ‖(φ_i−μ) / σ‖_2를 계산하고, 사전 정의된 임계값 λ(예: 2.5~10)보다 큰 경우 비잔틴으로 판정한다. 이 방식은 (a) 클라이언트 간 데이터 이질성(α=0.1 등)에도 평균·MAD가 강인하게 작동해 정상 클라이언트의 정상 범위를 넓게 포용하고, (b) 공격자가 지문을 조작하려면 다수의 통계량을 동시에 변조해야 하므로 공격 비용이 급격히 상승한다는 “통계적 수갑(statistical handcuffs)” 개념을 제공한다.

복잡도 측면에서 기존 Krum·Bulyan은 O(n² d) 수준의 쌍별 거리 연산을 필요로 하지만, TinyGuard는 지문 생성 O(n d)와 거리 계산 O(n m)만 수행한다. 실험에서는 d가 수백만(ViT‑Small)인 경우에도 서버 측 연산 시간이 10배 이상 감소했으며, 메모리 사용량도 크게 낮아 모바일·IoT 환경에 적합함을 입증했다.

공격 시나리오별 평가에서는 (i) sign‑flipping, (ii) scaling(β≫1), (iii) Gaussian noise, (iv) 라벨 오염 등 네 가지 대표 공격에 대해 95 %~97 % 정확도를 유지했다. 특히 백색박스 적응 공격에 대해 Pareto frontier 분석을 수행했는데, 탐지 회피율과 공격 성공률을 동시에 높이는 파라미터 조합이 존재하지 않음을 보여준다. 이는 지문 기반 탐지가 공격자의 자유도를 크게 제한한다는 실증적 증거다.

Ablation 실험에서는 (1) 피처 종류(노름·층비·희소도·모멘트) 제거, (2) λ값 변동, (3) 클라이언트 수 50→150, (4) 데이터 이질성 α 변동에 대한 민감도를 조사했다. 결과는 어느 조건에서도 탐지 정밀도 ≈0.8을 유지했으며, 특히 층별 비율과 희소도 피처가 공격 탐지에 가장 큰 기여를 함을 확인했다.

마지막으로 TinyGuard는 FedAvg와 완전히 호환된다. 비잔틴 클라이언트가 없을 경우 지문 기반 필터링이 모든 업데이트를 통과시키므로, 기존 FedAvg와 동일한 수렴 속도와 최종 정확도를 보인다. 이는 방어 메커니즘이 학습 프로세스 자체를 왜곡하지 않으며, 기존 FL 파이프라인에 최소한의 코드 변경만으로 적용 가능함을 의미한다.