고품질 얼굴 복원을 위한 변조 저항 다목적 워터마킹

**1. 서론** 최근 인공지능 생성 콘텐츠(AIGC)의 급격한 발전으로 얼굴 합성 및 딥페이크 기술이 실시간 수준까지 도달했다. 이러한 기술은 창작·엔터테인먼트 분야에 기여하지만, 동시에 허위 정보 유포·저작권 침해·디지털 증거 위조 등 심각한 사회적 위험을 초래한다. 기존 수동형 딥페이크 탐지 방법은 모델 변형에 취약하고, 사후 검증만으로는 법적 증거 확보에 한계가 있다. 따라서 배포 전 이미지에 **프로액티브**하게 정보를 삽입해, 사후에 저작권 확인·변조 탐지·원본 복구가 가능한 **다목적 워터마킹**이 요구된다. 그러나 현재까지의 다목적 워터마킹은 (i) 저작권 보호와 변조 위치 표시를 동시에 달성하려면 고용량 위치 페이로드를 삽입해야 하며, 이는 시각 품질 저하와 워터마크 강인성 감소를 초래한다. (ii) 원본 복구 기능을 제공하지 않아, 변조된 이미지가 증거로 사용될 때 원본을 재구성할 수 없다. 본 논문은 이러한 문제점을 해결하기 위해 **VeriFi**라는 새로운 프레임워크를 제안한다. **2. 관련 연구** - *포렌식 변조 탐지·복구*: MVSS‑Net, CAT‑Net, HiFi‑Net 등은 이미지 내부의 통계·주파수 이상을 이용해 변조 영역을 탐지하지만, 복구 기능이 없으며 일반화가 어려운 경우가 많다. DFREC은 변조 탐지와 복구를 동시에 수행하지만, 사전 워터마크가 없으므로 강인성이 낮다. - *프로액티브 워터마킹*: HiDDeN, StegaStamp은 저작권 보호에 초점을 맞추고, 변조 탐지는 지원하지 않는다. SepMark, LampMark은 얼굴에 특화된 강인성을 제공하지만 위치 정보는 제공하지 않는다. EditGuard·OmniGuard은 저작권·위치 정보를 동시에 삽입하지만, 고용량 위치 페이로드가 시각 품질을 크게 저하시킨다. StableGuard·W‑AM은 위치 정보를 별도 탐지기로 처리해 품질 저하를 피하려 하지만, 탐지 정확도가 떨어진다. **3. 문제 정의 및 핵심 통찰** - *통찰 1*: 변조가 발생하면 삽입된 워터마크가 손상된다. 이 손상 자체가 변조 영역을 가리키는 강력한 **공간적 사전**이 된다. - *통찰 2*: 원본 얼굴을 직접 픽셀 수준으로 워터마크에 저장하면 용량이 커져 시각 품질이 크게 저하된다. 대신 **VAE‑latent**와 같은 저차원 의미론적 표현을 워터마크로 사용하면, 적은 비트 수로도 고품질 복구가 가능하다. **4. VeriFi 전체 아키텍처** VeriFi는 네 개의 주요 모듈로 구성된다. 1. **통합 복구‑저작권 워터마크(URW) 임베더/추출기** - 입력: 원본 이미지 I, n‑bit 저작권 코드 w_cop, VAE‑latent z_face. - 임베더 E_enc는 작은 잔차 δ를 이미지에 더해 I_pr = I + δ 로 만든다. - 추출기 D_ec는 변조된 이미지 I_edit 로부터 ŵ_cop 와 ẑ_face 를 복원하고, 이를 이용해 콘텐츠 프록시 Î_b 를 생성한다. 2. **AIGC 공격 시뮬레이터** - 학습 단계에서 잠재 공간 혼합(α·z_src + (1‑α)·z_target), 스타일 변환, Poisson 블렌딩을 무작위 조합해 다양한 딥페이크 공격을 모사한다. 이는 워터마크가 실제 공격에 노출되는 상황을 미리 경험하게 하여 강인성을 크게 향상시킨다. 3. **워터마크‑가이드 변조 로컬라이제이션 네트워크** - 듀얼‑브랜치 Swin‑Unet 구조: 이미지 브랜치와 워터마크 브랜치. - 각 스케일 s 에서 이미지 피처 F_img^s 와 워터마크 피처 F_wm^s 를 1×1 Conv 로 차원 정렬 후 코사인 유사도 S_s 를 계산한다. - S_s 를 업샘플링·합성하고, 경량 Fusion Head(g) 로 증거 맵 F_sim 을 만든 뒤, 이미지‑기반 디코더 증거와 가중합(α) 하여 최종 변조 확률 맵 ˆM 을 출력한다. 4. **워터마크‑가이드 딥페이크 복구 네트워크** - Dual‑stream Transformer R: 한 스트림은 변조된 이미지 I_edit, 다른 스트림은 복구용 프록시 Î_b 와 변조 맵 ˆM. - Cross‑attention 메커니즘이 변조된 영역에만 복구 신호를 집중하도록 설계돼, 원본과 동일한 영역은 그대로 유지한다. - 최종 출력 ˆI_ori 은 PSNR·SSIM 기준에서 원본 I와 거의 차이가 없으며, 시각적으로도 변조 흔적이 사라진다. **5. 손실 함수 및 학습** 전체 손실 L = λ_c·L_cop + λ_f·L_face + λ_r·L_rec + λ_l·L_loc 로 구성된다. - L_cop: 저작권 비트 오류율(크로스 엔트로피). - L_face: VAE‑latent L2 손실. - L_rec: 이미지 재구성 PSNR/SSIM 기반 L1/L2 손실. - L_loc: 변조 맵 교차 엔트로피 손실. 각 λ는 실험을 통해 균형을 맞추었다. **6. 실험 및 결과** - *데이터*: CelebA‑HQ (30k)와 FFHQ (70k)에서 256×256 해상도 이미지 사용. - *베이스라인*: EditGuard, OmniGuard, StableGuard, W‑AM (다목적), Imuge+, DFREC (복구‑전용). - *평가 지표*: 저작권 BER, 변조 로컬라이제이션 IoU, 복구 PSNR/SSIM, 시각 품질(MOS). - *주요 결과*: VeriFi는 BER 4.2% (기존 12% 이하), IoU 0.78 (기존 최고 0.62), 복구 PSNR 38.2 dB / SSIM 0.96 (기존 33 dB / 0.91) 를 기록했다. 특히 강한 얼굴 스와핑·표정 변조·조명 변경 상황에서도 복구 품질이 크게 저하되지 않았다. - *Ablation*: (a) 워터마크‑가이드 로컬라이제이션 제거 → IoU 0.62, (b) 잠재 워터마크 대신 픽셀 워터마크 사용 → PSNR 33 dB, (c) 공격 시뮬레이터 비활성화 → BER 9% 상승. **7. 토론 및 한계** VeriFi는 얼굴 이미지에 특화된 설계이며, VAE‑latent 은 얼굴 도메인에 강하게 사전 학습된 경우에만 높은 복원 성능을 보인다. 일반 객체나 풍경 이미지에 적용하려면 도메인‑특화 VAE 혹은 다른 의미론적 인코더가 필요하다. 또한 현재는 정적 이미지에만 적용 가능하므로, 동영상 시퀀스에 대한 시공간 연속성 보장을 위한 추가 연구가 필요하다. **8. 결론** VeriFi는 저용량 의미론적 워터마크와 워터마크‑가이드 로컬라이제이션·복구 네트워크를 결합해, 저작권 인증, 픽셀‑레벨 변조 탐지, 고품질 원본 복원을 하나의 프레임워크에 통합한다. AIGC 공격 시뮬레이터를 통한 강인성 강화와 실험을 통한 베이스라인 초월은, VeriFi가 실무 현장에서 딥페이크 방어와 디지털 증거 보존을 위한 실용적인 솔루션임을 입증한다. 향후 연구에서는 비얼굴 도메인 확장, 실시간 동영상 적용, 그리고 법적 인증 절차와의 연계 등을 목표로 할 것이다.