신뢰할 수 있는 PII 제거 연구의 딜레마

초록

본 논문은 개인식별정보(PII) 제거 기술에 대한 재구성 공격이 실제보다 과대평가되고 있음을 지적한다. 기존 연구에서 데이터 누수와 오염을 충분히 방지하지 않아 공격 성공률이 인위적으로 높아진다. 저자는 진정한 사적 데이터 없이 공격을 평가하는 한계와, 사적 데이터에 접근할 수 없는 공개 연구 커뮤니티가 투명하고 재현 가능한 연구를 수행하기 어려움을 논의한다. 또한 체코 법원 공고와 영문 여행 Vlog와 같은 거의 사전 학습에 포함되지 않은 데이터셋을 활용한 실험을 제시한다.

상세 분석

이 논문은 PII 제거 기술에 대한 공격 평가가 근본적인 설계 결함을 가지고 있음을 체계적으로 분석한다. 첫 번째로, 기존 공격 실험에서 사용된 데이터셋이 공개된 코퍼스이거나 사전 학습된 대형 언어 모델(LLM)의 훈련 데이터에 포함될 가능성이 높다는 점을 지적한다. 이는 모델이 이미 해당 텍스트를 ‘기억’하고 있어, 공격이 실제 PII 복원 능력이라기보다 메모리 재생에 불과할 위험을 내포한다. 두 번째로, 공격 모델이 사전 훈련 단계에서 비공개 데이터(예: 의료 기록, 법원 판결)를 학습했을 경우, 평가 시 데이터 오염(data contamination)이 발생한다. 이런 상황에서는 공격 성공률이 인위적으로 상승하며, 실제 프라이버시 위험을 과대평가한다.

논문은 이러한 문제를 해결하기 위한 두 가지 핵심 조건을 제시한다. 첫째, 평가에 사용되는 테스트 데이터는 사전에 어떠한 형태로도 LLM에 노출되지 않아야 한다. 이를 위해 저자는 체코 법원 공고와 개인 유튜브 Vlog와 같이 공개된 데이터베이스에 거의 포함되지 않은 ‘진정한 사적 데이터’를 선택했다. 둘째, 공격 모델의 사전 훈련 데이터와 평가 데이터 사이의 겹침을 철저히 검증해야 한다. 이를 위해 데이터 겹침 검증 도구와 해시 매칭, 메타데이터 분석 등을 활용할 것을 권고한다.

또한, 논문은 현재 공개된 PII 제거 도구(예: Microsoft Presidio, Textwash)의 한계도 짚는다. 규칙 기반 및 NER 기반 접근법은 핵심 지시어(코어퍼런스) 해결이 부족해 동일 인물에 대한 다중 언급을 일관되게 마스킹하지 못한다. 이러한 기술적 결함은 공격자가 문맥 정보를 활용해 누락된 PII를 추론할 여지를 제공한다.

마지막으로, 저자는 사적 데이터에 대한 접근 제한이 연구 투명성을 저해한다는 점을 강조한다. 데이터 보호법(GDPR, HIPAA)으로 인해 실제 사적 데이터는 연구자에게 거의 제공되지 않으며, 이는 ‘신뢰할 수 있는’ 공격 평가를 방해한다. 따라서 데이터 엔클레이브, 안전한 멀티파티 컴퓨팅, 혹은 규제 기관과의 협업을 통한 제한된 접근 모델을 도입해야 한다는 제안을 제시한다. 이러한 제안은 향후 PII 제거 기술의 실효성을 객관적으로 검증하고, 프라이버시 보호와 데이터 활용 사이의 균형을 맞추는 데 필수적이다.