주파수 영역에서 확산 모델 회원추론 공격 강화

초록

본 논문은 확산 모델이 고주파 정보를 처리하는 데 갖는 약점을 발견하고, 이를 보완하는 고주파 필터 모듈을 제안한다. 제안 모듈은 기존 회원추론 공격에 플러그인 형태로 적용 가능하며, 추가 연산 비용 없이 공격 성공률을 크게 향상시킨다.

상세 분석

확산 모델은 이미지 생성 과정에서 저주파 구조를 먼저 복원하고, 이후 고주파 디테일을 점진적으로 추가한다는 특성을 가진다. 이러한 “저주파‑고주파 순차 복원” 메커니즘은 모델이 훈련 데이터와 비훈련 데이터 사이의 미세한 차이를 고주파 영역에서 더 크게 나타나게 만든다. 기존의 회원추론 공격들은 주로 재구성 오류(예: 픽셀‑레벨 L2 거리)를 이용해 회원 여부를 판단했으며, 고주파와 저주파 성분을 구분하지 않은 채 전체 이미지 차이를 점수화했다. 저자들은 실험을 통해 고주파 성분이 풍부한 훈련 샘플은 재구성 오류가 커져 비회원으로 오분류되고, 반대로 고주파가 적은 비훈련 샘플은 오류가 작아 회원으로 오분류되는 현상을 확인했다. 이를 “고주파 결핍(high‑frequency deficiency)”이라 명명하고, 이 현상이 회원추론 공격의 membership advantage(회원과 비회원 사이의 스코어 차이)를 감소시켜 전체 공격 효율을 저하시킨다는 이론적 분석을 제시한다.

핵심 아이디어는 고주파 성분이 공격 스코어에 미치는 변동성을 제거하는 것이다. 저자들은 이미지의 푸리에 변환을 수행한 뒤, 반경 r = 5(대규모 데이터셋) 혹은 r = 2(소규모 데이터셋) 로 정의된 고주파 영역을 마스크하고 저주파만 남기는 필터링 연산을 적용한다. 이렇게 고주파를 제거하면, 원본 이미지와 모델이 재구성한 이미지 사이의 차이가 주로 저주파 구조에 의해 결정되며, 고주파에 의한 잡음이 사라져 스코어 분포가 더 안정화된다. 결과적으로 회원과 비회원 사이의 스코어 차이가 확대되어 공격 임계값을 보다 명확히 설정할 수 있다.

제안된 고주파 필터 모듈은 플러그‑앤‑플레이 방식으로 설계돼, 기존의 Naive, SecMI, PIA 등 오류 기반 공격 파이프라인에 단순히 전처리 단계 하나를 삽입하는 것만으로 적용 가능하다. 연산 복잡도 측면에서도 푸리에 변환과 마스크 연산은 GPU에서 매우 효율적으로 수행되며, 전체 공격 시간에 거의 영향을 주지 않는다.

실험 결과는 세 가지 주요 지표—Attack Success Rate (ASR), Area Under the Curve (AUC), 그리고 False Positive Rate 1%에서의 True Positive Rate (TPR@1%FPR)—에서 모두 유의미한 개선을 보여준다. 특히 고해상도 이미지와 복잡한 텍스트‑이미지 매칭 작업에서 기존 공격 대비 10% 이상 성능 향상이 관찰되었다. 다양한 데이터셋(COCO, Flickr, CIFAR‑100, Tiny‑ImageNet)과 모델(DDPM, DDIM, Stable Diffusion 등)에서도 일관된 효과가 입증되었다.

이 논문은 확산 모델의 고주파 처리 특성을 처음으로 회원추론 공격에 연결시킨 점에서 학술적 기여가 크며, 고주파 결핍을 보정하는 간단하지만 강력한 방법을 제시함으로써 향후 프라이버시 평가 및 방어 메커니즘 설계에 중요한 인사이트를 제공한다.