연합학습의 보안·프라이버시를 동시에 강화하는 동형암호 기반 비잔틴 필터링

초록

본 논문은 동형암호(CKKS)를 이용해 클라이언트 업데이트를 암호화하고, 그림자 모델을 통해 학습된 SVM 메타‑클래스ifier로 비잔틴 공격을 탐지·제거하는 프레임워크를 제안한다. 다양한 백도어, 그래디언트 역전, 라벨 플리핑, 셔플링 공격을 포함한 4가지 공격 유형을 높은 F1‑score(90~94%)로 식별하며, 모델 정확도와 암호화 연산 비용에 큰 손실을 주지 않는다.

상세 분석

이 연구는 연합학습(Federated Learning, FL)에서 두 가지 핵심 보안 요구사항—업데이트의 프라이버시 보호와 비잔틴 공격에 대한 탄력성—을 동시에 만족시키는 새로운 접근법을 제시한다. 첫 번째 단계는 동형암호 체계인 CKKS를 활용해 각 클라이언트의 모델 업데이트를 암호화한다. CKKS는 실수값 연산을 지원하므로, 기존의 평균 기반 FedAvg와 자연스럽게 결합될 수 있다. 논문은 암호화 파라미터(폴리노미얼 차원, 스케일, 슬롯 수)를 자동으로 최적화하는 절차를 제안하여, 암호화·복호화 비용을 최소화하면서도 정확한 동형 연산을 보장한다.

두 번째 단계는 ‘속성 추론(Property‑Inference)’ 기법을 메타‑클래스ifier 학습에 차용한 것이다. 연구자는 사전 정의된 4가지 비잔틴 공격 시나리오(백도어, 그래디언트 역전, 라벨 플리핑, 셔플링)를 포함하는 다수의 그림자 업데이트를 생성하고, 각 업데이트에 공격 라벨을 부여한다. 이 메타‑데이터를 기반으로 선형 커널 SVM을 다중 클래스 형태로 학습시켜, 암호화된 업데이트의 통계적 특성을 추론한다. 중요한 점은 메타‑클래스ifier가 암호화된 벡터 자체에 적용될 수 있다는 점이다. CKKS의 선형 연산 특성을 이용해 암호화된 내적과 거리 계산을 수행하고, 이를 SVM의 결정 함수에 입력함으로써 비잔틴 업데이트를 실시간으로 식별한다.

식별된 비잔틴 업데이트는 ‘가중치 재조정(reweighting)’ 메커니즘을 통해 집계 단계에서 효과적으로 상쇄된다. 즉, 비잔틴 클라이언트에 할당된 필터 가중치 (P_i^t)를 0에 가깝게 조정하거나 완전히 제외함으로써, 전체 모델 파라미터에 미치는 영향을 최소화한다. 이 과정은 암호화된 상태에서 수행되므로 서버는 원본 업데이트를 복호화하지 않는다.

실험에서는 FEMNIST, CIFAR‑10, GTSRB, ACSIncome 등 네 가지 데이터셋과 ResNet, VGG, 맞춤형 CNN, MLP 등 다양한 모델 아키텍처를 대상으로 평가하였다. 결과는 다음과 같다. (1) 메타‑클래스ifier는 9094%의 F1‑score를 달성했으며, 복합 공격(백도어+그래디언트 상승) 상황에서도 96%에 육박하는 성능을 보였다. (2) 모델 유틸리티 손실은 12% 수준에 머물렀으며, 이는 기존 비잔틴 방어 기법이 요구하는 높은 오버헤드와 비교해 현저히 낮다. (3) 전체 집계 시간은 암호화된 연산을 포함해 6~24초(데이터셋·모델에 따라)이며, 이는 CKKS 기반 평균 연산에 비해 약 2배 정도 증가했지만, 실용적인 수준으로 평가된다. (4) 차등 프라이버시(DP)와 병행 적용했을 때도 메타‑클래스ifier의 탐지 성능이 크게 저하되지 않아, 사후 프라이버시 보호와의 시너지 효과가 확인되었다.

이 논문은 기존 연구가 ‘보안 집계 vs. 비잔틴 방어’를 별도 문제로 다루던 한계를 넘어, 동형암호와 메타‑학습을 결합한 통합 솔루션을 제시한다. 특히, 암호화된 상태에서의 속성 추론을 가능하게 한 점은 향후 FL 보안 연구에 새로운 패러다임을 제공한다. 다만, CKKS 파라미터 최적화와 SVM 메타‑클래스ifier의 학습 비용이 초기 설정 단계에서 비교적 높으며, 대규모 클라이언트(수천 명) 환경에서의 스케일링 검증이 추가로 필요하다.