시맨틱 마스크로 수호하는 확산 워터마크: 블랙박스 위조 방어

초록

SemBind는 확산 모델의 잠재공간 워터마크를 이미지 의미와 결합하는 방어 프레임워크이다. 사전 학습된 시맨틱 마스크러를 대비학습으로 훈련시켜 동일 프롬프트에서는 거의 동일한 이진 코드, 서로 다른 프롬프트에서는 거의 직교하도록 만든다. 생성 단계에서 이 코드를 확장·퍼뮤테이션해 잠재노이즈에 곱해 기존 워터마크와 결합함으로써, 의미가 바뀐 위조 이미지에서는 마스크 불일치가 발생해 워터마크 검증이 실패한다. 마스크 비율 파라미터를 통해 위조 방어 강도와 자연 변형에 대한 견고성을 조절할 수 있다. 네 가지 대표적인 잠재 기반 워터마크( Tree‑Ring, Gaussian Shading, PRC, Gaussian Shading++)에 적용한 실험에서 위조 성공률을 크게 낮추면서 이미지 품질(FID, CLIP)과 기존 워터마크의 검증 강인성은 유지됨을 보였다. 또한, 기존에 증명된 ‘detectability‑free’ 특성을 그대로 보존한다는 이론적 증명도 제공한다.

상세 분석

SemBind의 핵심 아이디어는 “워터마크를 의미와 바인딩한다”는 점이다. 기존 잠재 기반 워터마크는 초기 노이즈 z_T 에 직접 패턴을 삽입하고, 역 DDIM을 통해 복원한다. 이 방식은 워터마크가 순수히 잠재공간에 존재하기 때문에, 공격자는 역 스케줄러를 이용해 해당 잠재를 추정하고, 이를 그대로 다른 프롬프트에 재사용하거나 작은 교란을 가해 위조 이미지를 만들 수 있다(‘imprinting’·‘reprompting’ 공격). SemBind은 이 문제를 해결하기 위해 두 단계의 매커니즘을 도입한다.

첫 번째는 **시맨틱 마스크러(f_θ)**이다. 이는 사전 학습된 비전 인코더(ViT·DINOv2 등)와 경량 MLP 해시 네트워크로 구성된다. 학습은 두 단계로 진행된다. ① Enc와 Proj 모듈을 사용해 프롬프트 레벨에서 클러스터링을 유도하는 감독 대비학습 손실(L_sup)을 최소화해 고차원 임베딩을 구형 hypersphere에 압축한다. ② Hash 모듈을 통해 이 압축된 표현을 B‑비트 이진 코드로 양자화한다. 손실은 Hamming 거리 기반의 intra‑prompt 일관성과 inter‑prompt 직교성을 동시에 만족하도록 설계된다(예: contrastive loss + 정규화). 결과적으로 동일 프롬프트에서 생성된 이미지들은 거의 동일한 코드(m≈m′)를, 서로 다른 프롬프트에서는 평균 Hamming 거리가 B/2에 가까운 코드를 갖는다.

두 번째는 마스크 적용 단계이다. 워터마크 삽입 시, 서비스 제공자는 동일 프롬프트에 대해 마스크러가 출력한 이진 코드 m을 받아 ‘tiling‑reshape‑permute’ 과정을 거쳐 잠재 차원과 동일한 형태의 마스크 M∈{0,1}^{h×w×c}를 만든다. 마스크 비율 r∈