인과관계 기반 멤버십 추론 공격 평가

초록

본 논문은 멤버십 추론 공격(MIA)을 인과추론 문제로 재정의하고, 기존의 다중‑재학습, 단일‑학습, 무학습(Zero‑run) 평가 방식에서 발생하는 편향을 체계적으로 분석한다. 인과적 효과를 추정하는 새로운 지표와 비대칭적 일관성을 보장하는 추정기를 제안하여, 대규모 모델에서도 재학습 없이 신뢰성 있는 기억 측정이 가능함을 실험적으로 입증한다.

상세 분석

이 연구는 MIA를 “데이터 포인트를 학습 집합에 포함시키는 것의 인과 효과”로 정의함으로써, 기존 평가 프로토콜이 내포한 통계적 가정을 명시적으로 드러낸다. 다중‑재학습(Multi‑run) 방식은 치료(포함 여부)가 완전 무작위화된 RCT와 동일시할 수 있어 평균 치료 효과(ATE)와 동일한 인과 지표를 얻는다. 그러나 계산 비용이 prohibitive 하다. 단일‑학습(One‑run) 방식은 하나의 모델에 여러 포인트를 동시에 포함시키므로, 각 포인트의 포함 여부가 다른 포인트의 출력에 영향을 미치는 interference가 발생한다. 이는 전통적인 SUTVA 가정을 위배하며, 인과 그래프에서는 공유된 학습 데이터 집합 D_train이 매개변수 θ를 통해 모든 Y_i에 연결되는 구조로 나타난다. 저자들은 이 상황을 “RCT with interference”로 명명하고, 학습 알고리즘의 algorithmic stability를 활용해 완전 interference 하에서도 ATE를 일관적으로 추정할 수 있는 새로운 이론적 경계를 제시한다.

무학습(Zero‑run) 시나리오는 실제 LLM 평가에서 흔히 사용되는데, 여기서는 학습 집합이 고정되어 있어 치료 할당이 무작위가 아니다. 즉, 멤버와 비멤버가 서로 다른 시계열·주제·스타일을 갖는 confounding이 존재한다. 이는 기존 MIA 메트릭(멤버십 어드밴티지, AUC 등)이 분포 이동(distribution shift) 효과와 기억 효과를 구분하지 못하게 만든다. 논문은 이를 “observational study with interference”라 부르고, 인과 그래프에 X_i → A_i 에지를 추가해 명시한다.

핵심 기여는 다음과 같다. 첫째, 전통적인 MIA 메트릭을 인과적 대응물(예: ATE, τ‑TPR, τ‑FPR)로 변환함으로써, 실제 기억 효과만을 측정하도록 설계했다. 둘째, 각 평가 체계에 맞는 practical estimators를 제안했으며, 특히 Zero‑run 상황에서는 비정규화된 역확률 가중치와 교정된 샘플링을 결합해 비편향 추정량을 얻었다. 셋째, 제안된 추정기는 비대칭적(비비대칭) 일관성을 보장하는 non‑asymptotic 경계가 증명되었으며, 이는 표본 수가 제한된 현실 상황에서도 신뢰성을 제공한다. 넷째, 실험에서는 CIFAR‑10과 합성 데이터셋을 이용해 기존 방법이 과대평가하거나 과소평가하는 사례를 재현하고, 제안된 인과 추정기가 이러한 오류를 크게 감소시킴을 보여준다. 특히, 대규모 LLM에 대한 Zero‑run 평가에서 분포 이동을 보정한 후에도 기억 효과가 여전히 존재함을 확인함으로써, 정책 입안자와 규제기관이 모델의 개인정보 위험을 보다 정확히 판단할 근거를 제공한다.

전반적으로 이 논문은 MIA 평가를 예측‑통계에서 인과‑통계로 전환함으로써, 기존 방법론이 간과해 온 편향원을 체계적으로 드러내고, 실용적인 교정 기법을 제시한다는 점에서 학계·산업 모두에 중요한 파급 효과를 기대할 수 있다.