개인 데이터의 프라이버시 위험을 한눈에 보는 일반화 레버리지 스코어

초록

본 논문은 개별 데이터 포인트가 멤버십 추론 공격에 얼마나 취약한지를 모델 재학습 없이도 평가할 수 있음을 보인다. 선형 모델에서는 레버리지 스코어가 MIA 위험과 정확히 일치한다는 이론적 근거를 제시하고, 이를 딥러닝에 적용하기 위한 일반화 레버리지 스코어를 제안한다. 실험을 통해 제안 스코어와 실제 MIA 성공률 사이에 높은 상관관계가 있음을 확인함으로써, 개인 프라이버시 위험을 효율적으로 추정할 수 있는 실용적인 지표임을 입증한다.

상세 분석

이 연구는 프라이버시 위험 평가를 기존의 그림자 모델(Shadow Model) 기반 접근법에서 근본적으로 탈피한다는 점에서 혁신적이다. 먼저, 선형 회귀와 로지스틱 회귀와 같은 선형 모델을 가정하고, 각 학습 샘플이 모델 파라미터에 미치는 영향을 정량화하는 레버리지 스코어를 도입한다. 레버리지 스코어는 설계 행렬의 행이 전체 설계 행렬에 비해 얼마나 독립적인지를 나타내는 고전적인 통계량이며, 이 논문은 이를 멤버십 추론 공격(Membership Inference Attack, MIA)의 성공 확률과 일대일 대응시킨다. 구체적으로, 레버리지 스코어가 클수록 해당 샘플이 모델 파라미터에 큰 영향을 주어, 학습 후 모델 출력이 해당 샘플에 대해 뚜렷한 변화를 보이게 되고, 이는 공격자가 “학습에 포함되었는가”를 판단하기 쉬워진다.

선형 모델에서의 이론적 증명은 두 단계로 구성된다. 첫째, 모델 파라미터 변화량을 샘플의 그라디언트와 해시안(Hessian)의 역행렬을 이용해 표현하고, 둘째, MIA 성공률을 파라미터 변화에 대한 로그우도 차이로 근사한다. 이때 파라미터 변화량이 레버리지 스코어와 직접 비례함을 보이며, 결국 레버리지 스코어가 MIA 위험의 정확한 지표가 된다.

딥러닝 모델에 적용하기 위해 저자들은 두 가지 주요 확장을 제안한다. 첫째, 뉴럴 네트워크의 마지막 레이어에 대한 근사 해시안을 사용해 레버리지 스코어를 계산한다. 이는 Fisher 정보 행렬을 이용한 근사이며, 역행렬 계산 비용을 줄이기 위해 K‑근접 이웃(K‑NN) 기반의 스파스 근사를 도입한다. 둘째, 전체 네트워크에 걸쳐 다중 레이어 레버리지 스코어를 합산하는 방법을 제시한다. 각 레이어의 기여도를 가중 평균함으로써, 깊은 네트워크에서도 샘플별 민감도를 포착한다.

실험에서는 CIFAR‑10, CIFAR‑100, 그리고 Purchase100 데이터셋에 대해 ResNet‑18, VGG‑16, 그리고 MLP 모델을 대상으로 일반화 레버리지 스코어와 실제 MIA 성공률 간의 피어슨 상관계수를 측정하였다. 결과는 0.78~0.92 사이의 높은 상관을 보였으며, 특히 고레버리지 샘플이 공격 성공률이 30% 이상 높은 현상을 확인했다. 또한, 기존 그림자 모델 기반 위험 추정 방법보다 10배 이상 빠른 추론 속도를 기록했다.

이러한 결과는 레버리지 스코어가 데이터 의존적 민감도와 프라이버시 위험을 연결하는 이론적 다리 역할을 함을 시사한다. 즉, 모델 파라미터에 대한 샘플의 영향력을 정량화함으로써, 별도의 공격 시뮬레이션 없이도 개별 데이터 포인트의 프라이버시 취약성을 사전에 평가할 수 있다. 이는 데이터 관리, 차등 프라이버시 적용, 그리고 위험 기반 샘플 선택 등에 실용적인 가치를 제공한다.