연합 학습에서 $f$‑다양성 최대화 기반 효율적 데이터 삭제 프레임워크

초록

본 논문은 연합 학습 환경에서 데이터 삭제(언러닝)를 효율적으로 수행하기 위해, 전체 모델과 삭제 후 재학습 모델 간의 $f$‑다양성($f$‑divergence)을 최대화하고, 남은 데이터에 대한 성능 저하를 최소화하는 min‑max 최적화 문제를 제안한다. 플러그인 형태로 기존 연합 학습 파이프라인에 쉽게 적용 가능하며, 기존 방법들에 비해 재학습 없이도 높은 삭제 효과와 최소한의 유틸리티 손실을 달성한다.

상세 분석

논문은 연합 학습(Federated Learning, FL)에서 “잊혀질 권리”와 데이터 중독 공격 대응을 위한 언러닝(Unlearning) 문제를 새롭게 정의한다. 기존 중앙집중형 언러닝은 전체 데이터를 다시 학습하는 방식이지만, FL에서는 데이터가 클라이언트에 분산돼 있어 서버가 직접 데이터를 접근할 수 없으며, 클라이언트가 삭제 요청을 할 때도 통신·프라이버시 제약이 존재한다. 이러한 제약을 고려해 저자는 두 가지 목표를 동시에 만족하는 min‑max 프레임워크를 설계한다.

1. 목표 함수 설계

   • Maximization: 전체 데이터로 학습된 모델 $θ_{all}$와 삭제 대상 데이터를 제외하고 재학습한 모델 $θ_{ret}$ 사이의 $f$‑다양성 $D_f(θ_{all}|θ_{ret})$를 최대화한다. 여기서 $f$‑다양성은 KL, JS, χ² 등 다양한 형태를 지원하며, 모델 출력 확률 분포 간 차이를 정량화한다.
   • Minimization: 남은 데이터 $S_R$에 대한 손실 $\ell_f(θ_{ret}, S_R)$을 최소화하여, 언러닝 후에도 기존 성능을 유지한다.

   이 두 목표를 하나의 라그랑주식(min‑max) 형태로 결합해, $\max_{θ_{ret}} \min_{θ_{all}} \big