극단적 1비트 스케치 기반 개인화 연합 학습

초록

pFed1BS는 양방향 1비트 랜덤 스케치를 이용해 통신량을 최소화하면서, 각 클라이언트에 맞춤형 모델을 학습하는 개인화 연합 학습 프레임워크이다. 클라이언트는 모델을 해드아마드 변환으로 투사한 뒤 부호만 전송하고, 서버는 가중치 투표로 전역 1비트 합의를 생성한다. 부호 기반 정규화와 ℓ₂ 제약을 통해 로컬 모델이 전역 합의와 정렬되도록 유도하며, 수렴 이론을 제공한다. 실험 결과, 기존 1비트 압축 FL 알고리즘 대비 통신 비용은 크게 낮추면서 정확도와 개인화 성능을 유지한다.

상세 분석

pFed1BS는 두 가지 핵심 아이디어를 결합한다. 첫째, 클라이언트‑서버 간 양방향 통신을 1비트 수준으로 압축한다는 점이다. 이를 위해 무작위 투사 행렬 Φ∈ℝ^{m×n}을 사용해 로컬 모델 w_k를 저차원 공간으로 투사하고, sign(Φw_k)만을 전송한다. 전송된 부호 벡터는 서버에서 가중치 p_k에 따라 가중 평균을 취한 뒤 부호를 다시 취해 새로운 전역 합의 v^{t+1}=sign(∑_k p_k z_k) 를 만든다. 이 과정은 Lemma 1에 의해 최적 해가 존재함을 보이며, 복잡도가 O(Km) 수준으로 매우 효율적이다.

둘째, 개인화 목표를 전역 합의와 연계하는 새로운 정규화 항을 도입한다. 부호 기반 정규화 g(v,Φw_k)=½(‖Φw_k‖_1−⟨v,Φw_k⟩)는 로컬 모델이 전역 부호와 일치하도록 압력을 가한다. ℓ₁ 항을 부드럽게 근사하기 위해 h_γ(z)= (1/γ)∑_i log cosh(γz_i) 를 사용하고, γ→∞일 때 tanh(γΦw_k)≈sign(Φw_k) 가 된다. 따라서 최종 손실 F_k(w_k;v)=f_k(w_k)+λ g̃(v,Φw_k)+ (μ/2)‖w_k‖_2^2 은 표준 SGD와 동일한 형태로 최적화 가능하며, 정규화 파라미터 λ와 ℓ₂ 제약 μ을 통해 개인화 정도와 모델 크기를 조절한다.

알고리즘 흐름은 다음과 같다. 매 라운드마다 서버는 현재 전역 부호 v^t 를 브로드캐스트하고, 각 클라이언트는 이를 고정한 채 R번의 미니배치 SGD를 수행한다. 이때 정규화 그래디언트 Φᵀ(tanh(γΦw)-v^t) 가 추가되어 부호 정렬을 유도한다. 로컬 업데이트 후 클라이언트는 sign(Φw_k^{t+1}) 를 서버에 전송하고, 서버는 위의 투표 규칙으로 v^{t+1} 을 업데이트한다.

이론적 분석에서는 전체 시스템을 이중 최적화 문제(상위: 전역 부호, 하위: 로컬 파라미터)로 모델링하고, 비정상성(비연속 부호, 스케치 오류)에도 불구하고 기대 손실의 잠재 함수에 대한 stationary neighborhood 로 수렴함을 증명한다. 수렴 속도는 학습률 η, 정규화 파라미터 λ, 스케치 차원 m, 클라이언트 수 K 등에 의존하며, m이 충분히 크면 스케치 오차가 ε-정밀도로 억제된다.

실험에서는 MNIST, FMNIST, CIFAR‑10/100, SVHN 등 5개 데이터셋에 대해 비동형(Non‑IID) 파티션을 적용하였다. 통신 비용은 기존 FedAvg 대비 32배(1비트 vs 32‑bit) 감소했으며, OBD‑A, OBCSAA, zSignFed 등 최신 1비트 압축 기법과 비교했을 때 정확도 손실이 0.5% 이하로 억제되었다. 특히 개인화 성능(클라이언트별 테스트 정확도 평균)에서 pFed1BS는 기존 글로벌‑중심 방법보다 2~4% 높은 점수를 기록했다. 또한 Fast Hadamard Transform을 이용한 Φ 연산은 O(n log n) 시간 복잡도로 구현돼 대규모 모델(ResNet‑18)에서도 실시간 압축이 가능함을 보였다.

요약하면, pFed1BS는 (1) 양방향 1비트 압축을 통한 극단적인 통신 절감, (2) 부호 기반 정규화를 통한 효과적인 개인화, (3) FHT 기반 고속 스케치 구현, (4) 수렴 이론과 실험 검증을 모두 갖춘 최초의 프레임워크라 할 수 있다. 향후 연구에서는 비동기 업데이트, 무선 채널 잡음, 그리고 다중 스케치 차원을 활용한 하이브리드 압축 전략을 탐색할 여지가 있다.