시각 친화적 개념 보호를 위한 선택적 적대적 교란

초록

**
VCPro는 사용자가 지정한 마스크 영역에만 최소한의 적대적 노이즈를 삽입해, 개인 이미지의 핵심 개념을 보호하면서 시각적 왜곡을 크게 줄이는 프레임워크이다. Lagrangian multiplier 기반의 최적화와 주파수 도메인 제약을 활용해 인간 시각에 덜 민감한 고주파 영역에 교란을 집중한다. 실험 결과, 기존 방법 대비 PSNR/SSIM이 크게 향상되고, DreamBooth·Textual Inversion 공격에 대한 방어 효율도 유지한다.

**

상세 분석

**
본 논문은 최근 확산 모델을 이용한 개인화 이미지 생성이 초래할 수 있는 프라이버시·지식재산권 침해 위험을 완화하기 위해, 기존의 전역적(adversarial) 교란 방식이 갖는 시각적 부작용을 최소화하는 새로운 접근법을 제시한다. 핵심 아이디어는 “핵심 개념(예: 얼굴, 특정 물체)”만을 보호 대상으로 삼고, 사용자가 제공한 마스크 m 을 통해 해당 영역에만 “push” 손실을 적용해 노이즈 예측을 방해하고, 마스크 외 영역에는 “pull” 손실을 적용해 원본 이미지와의 차이를 최소화함으로써 전체적인 시각 품질을 보존한다.

수식 (5)‑(6)에서 정의된 지역적 적대적 손실 L′ₜ는 Δ = g − εθ(zₜ, t, τθ(y)) 를 마스크와 곱해 보호 영역에서는 L2 거리의 제곱을 최대화하고, 비보호 영역에서는 최소화한다. 이는 기존 방식이 전체 이미지에 동일한 강도의 교란을 가하는 것과 달리, 보호 영역에만 강한 교란을 집중하고 배경에는 거의 교란을 주지 않음으로써 시각적 눈에 띄는 변형을 크게 감소시킨다.

또한, 인간 시각이 저주파 변화에 더 민감하다는 심리물리학적 근거를 바탕으로, 논문은 교란의 가시성을 고주파 성분에 제한한다. 이를 위해 이산 웨이블릿 변환(DWT)을 적용해 이미지 x를 저주파 성분 x_ll 과 고주파 성분 x_lh, x_hl, x_hh 로 분해하고, 최적화 목표 함수 D(·)를 고주파 성분만을 이용한 L2 거리로 정의한다. 결과적으로 교란은 가장 눈에 띄지 않는 고주파 영역에 집중되어, PSNR이 39.58 dB, SSIM이 0.95에 달하는 높은 시각 품질을 달성한다.

최적화는 Lagrangian multiplier 기반의 “느슨한” 해법을 채택한다. 제약식 −L′ₜ + α ≤ 0을 만족하도록 교란 δ를 최소화하면서, 거리 함수 D(x, x+δ)와 손실 L′ₜ 사이에 가중치 c 를 두어 균형을 맞춘다. 이때 δ는