음악 확산 모델에 대한 멤버십 추론 공격: 생성 매니폴드 교란 기반 새로운 방법

초록

본 논문은 음악 생성 확산 모델의 학습 데이터 여부를 판단하는 멤버십 추론 공격(MIA)을 제안한다. 저자는 역확산 과정 중 중간 단계에 시간 정규화된 잠재 교란을 가하고, 지정된 인간 청감 손실 임계값을 초과하기 위해 필요한 최소 교란 예산을 측정한다. 학습 데이터(멤버)는 더 안정된 생성 매니폴드에 위치해 교란 비용이 높게 나타나며, 이를 “Latent Stability Adversarial Probe”(LSA‑Probe)라 명명한다. DiffWave와 MusicLDM 두 모델, MAESTRO와 FMA 두 데이터셋에서 기존 손실 기반·경로 기반 공격보다 낮은 1 % FPR 구간에서 TPR을 3~8%p 향상시킨다.

상세 분석

LSA‑Probe는 화이트박스 위협 모델을 전제로 한다. 공격자는 모델 파라미터와 역확산 연산 Rₜ(·;θ)에 대한 미분 가능성을 활용해, 특정 타임스텝 t에서의 잠재 변수 xₜ에 시간 정규화된 교란 δₜ=σₜ·δ̃를 삽입한다. 여기서 σₜ=√(1‑ᾱₜ)로 정규화함으로써 서로 다른 t에서 교란 강도를 비교 가능하게 만든다. 이후 PGD(Projected Gradient Descent)를 사용해 δ̃를 최적화하고, 역확산 연산을 통해 복원된 파형 ˆx₀와 교란 후 파형 ˆx₀^δ 사이의 청감 거리 D(·,·)가 사전 정의된 임계값 τ(P95) 이상이 되도록 최소 예산 η를 탐색한다. 외부 이진 탐색과 내부 PGD 루프를 결합한 두 단계 절차가 핵심이며, 이는 기존 손실 기반(MSE)이나 경로 재구성 기반 공격과 달리 “최악의 경우” 교란 비용을 직접 측정한다는 점에서 차별화된다.

논문은 두 가지 목표 함수를 정의한다. (O1) 고정 예산 η 하에서 최대 청감 손실을 구하고, (O2) 지정된 τ를 초과하기 위한 최소 η, 즉 adversarial cost C_adv를 계산한다. 최종 멤버십 스코어는 C_adv이며, 값이 클수록 해당 샘플이 학습 데이터일 가능성이 높다.

실험 설계는 다음과 같다. (1) 모델: 파형 기반 DDPM인 DiffWave와 잠재 공간에서 작동하는 MusicLDM; (2) 데이터: 피아노 전용 MAESTRO v3와 다장르 FMA‑Large; (3) 평가 지표: TPR@1 % FPR, TPR@0.1 % FPR, AU‑ROC, 그리고 95 % CI와 부트스트랩을 통한 통계적 검증; (4) 베이스라인: 재구성 손실, Trajectory‑based 공격(PIA/PIAN), SecMI 등. 모든 비교는 UNet 호출 수, FLOPs, wall‑clock 시간을 기준으로 ±5 % 이내의 동일 연산량을 맞추어 수행하였다.

주요 결과는 표 1에 요약된다. DiffWave에서는 MAESTRO에서 TPR@1 % FPR가 0.12→0.20(+0.08), FMA에서 0.11→0.18(+0.07)으로 크게 개선되었다. MusicLDM에서도 MAESTRO와 FMA 각각 0.10→0.13(+0.03), 0.08→0.14(+0.06)으로 상승했으며, AU‑ROC 역시 0.03~0.06p 상승했다. 특히 저 FPR 구간에서의 개선이 두드러져 포렌식·저작권 감시 상황에 실용적이다.

추가 분석에서는 (a) 타임스텝 비율 t_ratio을 0.2,0.4,0.6,0.8로 변동시, 중간 단계(t_ratio≈0.6)에서 가장 높은 구분력을 보였으며, 이는 역확산이 거친 전역 구조에서 세밀한 디테일로 전이되는 시점과 일치한다. (b) 교란 예산 η를 확대하면 성능이 향상되지만 η≈0.6‑0.8에서 포화 현상이 나타난다. (c) 청감 거리 D로 CDP‑AM과 MR‑STFT를 사용했을 때, 단순 MSE보다 낮은 FPR 구간에서 더 강력한 신호를 제공한다. 이는 인간 청감과의 정렬이 멤버십 신호의 품질을 좌우함을 시사한다.

이론적 관점에서는 “flat minima”와의 연관성을 언급한다. 학습 데이터 주변의 손실 지형이 평탄하고, 따라서 역확산 경로가 더 안정적이라는 가정이 LSA‑Probe의 핵심 가설이다. 논문은 1차 미분 분석을 통해, 동일 교란에 대한 손실 변화율이 멤버와 비멤버 사이에 통계적으로 유의미한 차이를 보임을 실험적으로 입증한다.

한계점으로는 화이트박스 전제와 고정된 τ값이 있다. 실제 서비스 환경에서는 모델 파라미터 접근이 제한될 수 있으며, τ를 데이터셋마다 재조정해야 할 가능성이 있다. 또한 공격 비용이 역확산 전체를 여러 번 수행해야 하므로, 대규모 배치에 적용하기엔 연산량이 부담될 수 있다. 향후 연구에서는 블랙박스 변형, 적은 연산량으로 근사하는 메타‑학습 기반 스코어, 그리고 다양한 음악 장르·길이에서의 일반화 검증이 필요하다.