연합학습을 위한 사전 백도어 방어 FLPBM

본 논문은 연합학습(Federated Learning) 환경에서 백도어 공격을 사전 단계에서 차단하기 위한 새로운 방어 메커니즘인 FL‑PBM(Pre‑Training Backdoor Mitigation for Federated Learning)을 제안한다. 백도어 공격은 악의적인 데이터에 은밀한 트리거를 삽입해 모델이 특정 입력에 대해 공격자가 원하는 출력을 내도록 하는 위협으로, 특히 자율주행, 의료, 금융 등 안전이 중요한 분야에서 큰 위험을 초래한다. 기존 방어 연구는 주로 모델 학습 후(post‑training)나 학습 중(in‑training) 단계에 초점을 맞추었으며, 클라이언트 측에서 데이터를 사전에 정제하는 접근은 상대적으로 부족했다. 논문은 이러한 공백을 메우기 위해, 클라이언트가 로컬 학습을 시작하기 전에 데이터를 필터링하고 변형하는 일련의 프로세스를 설계하였다. 전체 흐름은 네 단계로 구성된다. 1. **Benign 트리거 삽입**: 모든 학습 샘플에 사전에 정의된 무해한 트리거(예: 작은 패치)를 삽입한다. 이는 정상 데이터와 백도어가 삽입된 데이터 사이의 특징 차이를 인위적으로 확대해, 이후 단계에서 구분을 용이하게 만든다. 2. **PCA 기반 특징 추출**: 고차원 이미지 데이터를 주성분 분석(PCA)으로 차원 축소한다. PCA는 데이터 분산을 보존하면서 주요 축을 찾아내어, 백도어가 포함된 샘플이 비정상적인 스펙트럼 특성을 보이는 영역을 드러낸다. 논문은 백도어 샘플이 일반 데이터와 다른 고주파 성분을 갖는다는 기존 연구를 근거로, PCA가 이러한 차이를 효과적으로 포착할 수 있음을 입증한다. 3. **GMM 클러스터링**: PCA 변환 후의 데이터에 가우시안 혼합 모델(GMM) 클러스터링을 적용한다. GMM은 각 클러스터를 가우시안 분포로 모델링하므로, 정상, 의심, 악성 등 여러 잠재적 모드가 존재할 때 유연하게 적합한다. 클러스터링 결과의 책임도(responsibility)를 기반으로 샘플을 고위험, 중위험, 저위험으로 구분한다. 고위험 샘플은 학습에 전혀 사용하지 않으며, 중위험 샘플에 대해서는 선택적 블러링을 수행한다. 4. **타깃 블러링**: 의심 샘플에 대해 이미지 블러링을 적용해 트리거가 시각적으로 인식되는 영역을 흐리게 만든다. 블러링은 트리거와 라벨 간의 연관성을 약화시키면서, 이미지의 주요 내용은 보존한다. 이를 통해 모델이 트리거에 대한 학습을 최소화한다. 이 모든 과정은 클라이언트 측 TEE(Trusted Execution Environment) 내에서 수행된다. TEE를 활용함으로써 방어 로직이 서버에 의해 변조되거나 우회되는 위험을 최소화한다. 또한, PCA‑GMM 기반의 비지도 학습 접근은 사전에 특정 트리거 패턴을 정의하지 않아도 다양한 백도어 형태에 대응할 수 있다. 논문은 다음과 같은 주요 기여를 제시한다. (1) 연합학습에서 최초 데이터 전처리를 통한 백도어 방어를 최초로 구현한 점, (2) PCA와 GMM을 결합해 고차원 이미지 공간에서 의심 샘플을 효과적으로 식별한 점, (3) 선택적 블러링을 통해 의심 샘플을 손상시키면서도 전체 모델 정확도를 크게 떨어뜨리지 않은 점, (4) 다중 트리거, 다중 라벨 등 복합 공격 시나리오에서도 높은 방어 효율을 보인 점이다. 실험에서는 CIFAR‑10, MNIST, SVHN 등 대표적인 이미지 데이터셋을 사용해 다양한 백도어 공격(패치 기반, 색상 변조, 다중 트리거)을 시뮬레이션하였다. 비교 대상으로는 기본 FedAvg, 최신 방어 기법인 RDFL, LPSF를 포함하였다. 결과는 다음과 같다. FL‑PBM은 공격 성공률을 최대 95%까지 감소시켰으며, RDFL과 LPSF 대비 각각 30%~80% 추가 감소를 달성했다. 동시에 정밀도(클린 모델 정확도)는 IID와 non‑IID 환경 모두에서 90% 이상을 유지하였다. 특히, 고위험 샘플을 완전히 배제하고 중위험 샘플에만 블러링을 적용함으로써, 모델 성능 저하를 최소화하면서도 백도어 효과를 크게 약화시켰다. 하지만 논문은 몇 가지 제한점을 인정한다. PCA는 선형 변환에 기반하므로 비선형 트리거에 대한 감지 능력이 제한될 수 있다. GMM의 클러스터 수와 초기 파라미터 설정에 민감해, 데이터 분포가 매우 이질적일 경우 오탐률이 증가할 가능성이 있다. 블러링은 트리거가 고해상도에 분산된 경우 완전한 무력화가 어려울 수 있다. 또한, 클라이언트 디바이스의 연산·메모리 자원이 제한적인 경우 추가적인 전처리 비용이 부담이 될 수 있다. 향후 연구 방향으로는 비선형 차원 축소 기법(예: 커널 PCA, 오토인코더) 도입, 클러스터링 파라미터 자동 튜닝, 블러링 외에 다양한 이미지 변형(노이즈 추가, 색상 변환) 적용, 그리고 경량화된 TEE 구현을 통한 실시간 적용 가능성 검증 등을 제시한다. 전반적으로 FL‑PBM은 연합학습 시스템에서 백도어 위협을 사전 단계에서 차단함으로써, 모델 무결성과 데이터 프라이버시를 동시에 강화할 수 있는 실용적인 방안으로 평가된다.