확산 기반 편집 방어를 위한 최적화 없는 이미지 면역화

초록

DiffVax는 사전 학습된 면역 모델을 이용해 이미지와 영상을 몇 밀리초 안에 즉시 면역화한다. 기존 방법이 이미지당 수분~수시간의 최적화 과정을 필요로 하는 반면, DiffVax는 전역적인 학습을 통해 생성된 미세한 노이즈가 편집 모델의 디노이징 과정을 방해하도록 설계되었다. 결과적으로 편집 시도는 실패하거나 왜곡된 출력을 내며, JPEG 압축·디노이징 등 일반적인 역공격에도 강인성을 보인다. 특히 영상에 대한 최초의 면역화 시도와 250,000배에 달하는 속도 향상이 핵심 기여이다.

상세 분석

DiffVax는 기존 이미지 면역화 연구가 안고 있던 세 가지 핵심 한계—확장성, 메모리·연산 효율성, 역공격 내성—를 동시에 해결한다. 첫 번째로, 저자들은 UNet++ 기반의 “면역화 모델” f(·;θ)를 이미지-조건부로 학습시켜, 입력 이미지에 대해 단일 전방 패스로 면역화 노이즈 ε_im을 생성한다. 이 과정은 이미지당 별도 최적화를 요구하지 않으며, 추론 단계에서 약 70 ms(실험에 따라 50~90 ms)만 소요된다. 두 번째로, 손실 함수는 L_noise와 L_edit 두 항으로 구성된다. L_noise는 마스크 영역 내에서 L1‑노름을 사용해 ε_im의 크기를 제한함으로써 인간 시각에 거의 감지되지 않도록 한다. L_edit은 면역화된 이미지 I_im을 실제 편집 모델(주로 Stable Diffusion 기반 인페인팅)으로 처리했을 때, 편집 결과와 목표 프롬프트 사이의 차이를 크게 만드는 목표를 갖는다. 구체적으로, 편집 모델의 출력 이미지와 원본 목표 이미지 사이의 구조적·시멘틱 손실을 최대화함으로써 편집 실패를 강제한다. 이러한 두 손실의 균형은 ε_im이 눈에 띄지 않으면서도 편집 파이프라인을 효과적으로 교란하도록 만든다.

세 번째로, DiffVax는 다양한 편집 도구와 프롬프트에 대해 모델‑불변성을 입증한다. InstructPix2Pix, 텍스트‑조건 인페인팅, 스타일 변환 등 여러 시나리오에서 편집 성공률을 5 % 이하로 낮추는 동시에 PSNR·SSIM 지표는 30 dB 이상을 유지한다. 또한 JPEG 압축(품질 7090)·가우시안 디노이징(σ=15) 등 일반적인 역공격에 대해서도 L_edit 손실이 크게 감소하지 않아 면역 효과가 유지된다.

영상 확장성 측면에서는 프레임 단위로 동일한 면역화 모델을 적용하고, 시간적 일관성을 위해 동일 마스크와 ε_im을 연속 프레임에 공유한다. 실험 결과, 30 fps 영상에 대해 0.1 s 이하의 전처리 시간으로 전체 영상이 면역화되었으며, 편집 시도 시 프레임마다 일관된 왜곡이 발생해 영상 전체가 무력화된다.

마지막으로, 메모리 사용량은 기존 PhotoGuard가 요구하던 15 GB 대비 2 GB 이하로 크게 감소한다. 이는 전방 패스만 수행하고 역전파를 필요로 하지 않기 때문이다. 전체적으로 DiffVax는 학습 단계에서 대규모 데이터셋(예: LAION‑5B 서브셋)으로 일반화 능력을 확보하고, 추론 단계에서는 경량화된 모델 파라미터(≈30 M)만으로 실시간 방어가 가능하도록 설계되었다. 이러한 설계 철학은 향후 대규모 소셜 미디어 플랫폼이나 클라우드 기반 이미지 저장소에 바로 적용할 수 있는 실용성을 제공한다.