얼굴 위조 탐지를 위한 얼굴 특화 백본과 경쟁적 파인튜닝 프레임워크

초록

본 논문은 실 얼굴 이미지에 대한 자체 지도(self‑supervised) 사전학습으로 얼굴 특화 백본을 구축하고, 두 개의 백본을 경쟁적으로 학습시키는 파인튜닝 기법과 예측 신뢰도를 활용한 임계값 최적화를 제안한다. 이를 통해 기존 Deepfake 탐지 모델이 보이는 데이터셋 간 일반화 한계를 크게 완화하고, 물리적 위조(프레젠테이션 공격) 탐지까지 확장한다.

상세 분석

이 연구는 Face Forgery Detection(FFD)에서 “백본(pre‑trained backbone)”의 역할을 재조명한다. 기존 대부분의 FFD 모델은 ImageNet‑1K 기반의 지도 학습(backbone)이나 일반적인 SSL(예: MoCo, BEiT) 백본을 그대로 사용해, 얼굴 고유의 구조적·기하학적 특성을 충분히 반영하지 못한다는 점을 지적한다. 저자는 두 단계로 접근한다. 첫 번째는 대규모 실 얼굴 이미지(예: CelebA‑HQ, FFHQ)를 이용한 자체 지도 학습이다. 여기서는 MAE, MoCo, BEiT와 같은 최신 SSL 프레임워크를 얼굴 도메인에 맞게 변형(FaceMAE, FaceMoCo, FaceBEiT)하여, 얼굴의 키포인트 분포, 미세한 텍스처, 국소 변위 필드 등을 학습한다. 결과적으로 얼굴 특화 백본은 일반 이미지 백본에 비해 forgery cue를 더 민감하게 포착한다. 두 번째는 “경쟁적 파인튜닝(Competitive Fine‑Tuning)”이다. 두 개의 동일 구조 백본을 동시에 학습시키되, 각 백본이 서로의 예측에 대한 불확실성을 이용해 가중치를 조정하는 ‘불확실성 기반 융합 모듈’을 도입한다. 또한, 백본 간의 특성 중복을 방지하기 위해 ‘데코릴레이션 제약(decorrelation constraint)’을 적용, 서로 보완적인 특징을 학습하도록 유도한다. 이 메커니즘은 단일 백본이 특정 위조 패턴에 과적합되는 위험을 감소시키고, 다양한 합성 기법(전체 얼굴 합성, 스와핑, 속성 편집, 리엔액트먼트 등)에 대한 일반화 성능을 크게 향상시킨다. 마지막으로, 기존 연구가 고정된 0.5 임계값을 사용해 실시간 판단을 수행하는데 반해, 저자는 예측 확률과 그에 대한 confidence(예: 엔트로피) 정보를 결합해 데이터셋 별 최적 임계값을 자동으로 추정하는 ‘임계값 최적화 메커니즘’을 제안한다. 이는 테스트 시점에서의 라벨링 오류를 최소화하고, 실제 서비스 환경에서의 신뢰성을 높인다. 실험에서는 Celeb‑DF, DFDC, FFIW 등 3개 교차 데이터셋에서 평균 AUC가 90% 이상으로, 기존 최고 성능 모델 대비 2~3%p 상승을 기록한다. 또한, 물리적 위조(프레젠테이션 공격) 데이터셋에 대해서도 동일한 백본+경쟁적 파인튜닝 구조가 높은 정확도를 보이며, 얼굴 안티‑스푸핑 분야로의 확장 가능성을 입증한다. 전체적으로 이 논문은 “얼굴 도메인에 특화된 SSL 사전학습 → 경쟁적 파인튜닝 → 신뢰도 기반 임계값 최적화”라는 3단계 파이프라인을 제시함으로써, FFD와 관련된 다양한 응용 분야에서의 일반화와 실용성을 동시에 달성한다는 점에서 의미가 크다.