얼굴 교환 방어를 위한 미세 교란과 방향성 속성 편집

초록

본 논문은 확산 모델 기반 얼굴 교환에 대한 사전 방어 기법인 FaceDefense를 제안한다. 기존 잠재공간 교란은 큰 변형을 야기하거나 방어 효과가 약한 문제를 해결하기 위해, 새로운 확산 손실과 방향성 속성 편집을 결합한 두 단계 교번 최적화 전략을 도입한다. 이를 통해 시각적 왜곡을 최소화하면서도 교환 결과의 정체성 손실을 크게 유도한다. 실험 결과, 기존 방법 대비 시각적 무시성과 방어 효율 모두에서 우수한 성능을 보인다.

상세 분석

FaceDefense는 확산 기반 얼굴 교환(LDM) 모델에 대한 사전 방어를 목표로 한다는 점에서 기존 픽셀·Lab·잠재공간 방어와 차별화된다. 핵심 아이디어는 두 가지 모듈을 교번 최적화한다는 점이다. 첫 번째 모듈인 ‘Adversarial Perturbation Generation’에서는 잠재코드 z_src에 제한된 ℓ_p 노름(ε) 안에서 교란 δ를 삽입한다. 손실 함수 L_adv는 세 부분으로 구성된다. L_id 는 원본 이미지와 교란 이미지 사이의 얼굴 인식 특징 코사인 유사도를 최소화해 정체성 정보를 흐리게 만든다. L_dev 는 여러 타임스텝 t 에서 예측된 노이즈와 교란 이미지에 대한 예측 노이즈 간의 L2 차이를 최소화함으로써, 역확산 과정에서 노이즈 예측을 방해한다. 기존 방어가 주로 L_id 와 L_dev 에 의존하는 반면, FaceDefense는 추가적인 L_diff 를 도입한다. L_diff 는 실제 노이즈 ε와 예측 노이즈 사이의 차이를 최대화하도록 설계돼, 모델이 진짜 데이터와 교란 데이터를 구분하기 어렵게 만든다. 이 세 손실을 가중치 λ₁, λ₂, λ₃ 로 조합해 PGD 기반 반복 업데이트를 수행한다.

두 번째 모듈인 ‘Attribute Editing’은 초기 교란이 초래한 얼굴 세부 왜곡을 복원한다. 저자는 W⁺ 공간(StyleGAN 기반)에서 다중 속성 편집을 수행한다. 구체적으로 ‘입술 색상’, ‘입술 약간 열림’, ‘코 크기 확대’ 등 여러 속성을 동시에 조정해, 교란으로 인해 변형된 고수준 의미를 원래 형태로 되돌린다. 이 과정은 방향성 편집 벡터 ψ_a 를 최적화하면서, 정체성 손실 L_id 와 이미지 재구성 손실을 동시에 최소화한다.

두 모듈은 ‘두 단계 교번 최적화(Alternating Optimization)’ 전략으로 연결된다. 첫 번째 단계에서 생성된 교란 δ는 속성 편집 단계에서 복원 가능한 형태로 제한된다. 반대로 속성 편집 단계에서 얻은 복원된 이미지가 다시 교란 생성 단계의 입력이 되어, 방어 효과와 시각적 무시성 사이의 균형을 점진적으로 개선한다. 이 과정은 미니맥스 형태의 최적화 문제를 해결하는데, 방어자는 최대화(방어 효과)와 최소화(시각적 왜곡)를 동시에 수행한다.

실험에서는 MyFace(기존 잠재공간 방어)와 비교해 ε = 75/255에서도 얼굴 특징 왜곡이 현저히 적으며, 정체성 차이(1‑cos)와 교환 성공률 측면에서 우수한 결과를 보였다. 특히, 다양한 LDM 기반 교환 모델(Zhao et al., 2023; Baliah et al., 2024)과 다양한 타깃 이미지에 대해 높은 전이성을 유지한다는 점이 강조된다. 또한, 인간 주관 평가에서도 시각적 차이가 거의 감지되지 않아 실용적인 방어 수단으로서의 가능성을 입증한다.

이 논문은 확산 모델의 특성을 정확히 파악하고, 노이즈 예측 메커니즘을 교란함으로써 방어 효과를 극대화한다는 점에서 학술적·실무적 기여가 크다. 특히, 고수준 의미(정체성)와 저수준 디테일(눈, 코 등) 사이의 상호작용을 고려한 두 단계 최적화는 향후 다른 이미지 변조 방어에도 적용 가능한 일반화된 프레임워크를 제시한다.