딥페이크 합성와 탐지의 불균형 전쟁

초록

본 논문은 최신 확산 모델·NeRF·GAN 기반 딥페이크 합성 기술과 Transformer·대조학습 기반 탐지 모델을 종합적으로 평가한다. 실험 결과, 최신 합성 영상은 기존 탐지 모델과 인간 평가자 모두에게 높은 회피율을 보이며, 현재 탐지 기술의 한계를 명확히 드러낸다.

상세 분석

본 연구는 세 가지 축으로 구성된 정량·정성 분석을 수행한다. 첫째, 최신 합성 기법을 8종(예: AniFaceDiff, VASA‑1, SyncTalk 등)으로 선정하고, 동일한 무음 영상 세트를 사용해 시각적 품질과 시간적 일관성을 객관적으로 측정하였다. 확산 기반 모델은 노이즈 스케줄링과 조건부 텍스트·오디오 인코딩을 결합해 고해상도 프레임을 생성하며, NeRF 기반 SyncTalk은 3D 얼굴 구조와 입술-음성 동기화를 동시에 최적화한다. 이러한 접근법은 기존 GAN 기반 합성보다 텍스처 디테일과 조명 변동에 대한 복원력이 뛰어나, 인간 눈에도 거의 구분이 어려운 수준을 달성한다.

둘째, 탐지 측면에서는 MesoNet, Xception, CoRe, UCF 등 10여 종의 최신 모델을 재현하고, 각 모델의 아키텍처(예: 깊이별 분리 합성곱, 멀티‑헤드 어텐션, 대조학습 손실)과 학습 프로토콜을 동일한 데이터셋(FaceForensics++, FFD 등)에서 재학습하였다. 실험 결과, 대부분의 모델은 기존 공개 벤치마크에서는 95% 이상 정확도를 보였지만, 새롭게 생성된 합성 영상에 대해서는 AUC가 0.55 이하로 급락하였다. 특히, 주파수 도메인 잡음 분석에 의존하는 SRM·RECCE 계열은 확산 모델이 생성한 고주파 디테일을 거의 포착하지 못했다. Transformer 기반 탐지는 대규모 사전학습 덕분에 약간의 일반화 능력을 보였지만, 합성 영상의 미세한 시공간 불일치를 학습하기엔 데이터 다양성이 부족했다.

셋째, 인간 평가에서는 271명의 참가자를 세 경험군(저·중·고)으로 구분하고, 20분 동안 40개의 무음 딥페이크와 진짜 영상을 무작위로 제시하였다. 전체 평균 정확도는 58%에 불과했으며, 고경험군조차도 최신 합성 영상(특히 AniFaceDiff·VASA‑1)에서는 45% 이하의 정확도를 기록했다. 이는 인간이 시각적 단서(예: 눈 깜빡임, 피부 반사)를 인식하는 데 한계가 있음을 시사한다.

전체적으로, 합성 기술은 고해상도 텍스처, 3D 기하학적 일관성, 멀티모달 동기화 등을 통해 탐지 모델이 학습한 기존 편향(예: 압축 아티팩트, 블러링)을 회피하고 있다. 탐지 모델은 현재 주로 정적 이미지 수준의 특징에 의존하고 있어, 시공간적 연속성을 포착하는 데 미흡하다. 따라서 향후 연구는 (1) 대규모 멀티모달 합성 데이터셋 구축, (2) 시계열 변동성을 학습하는 비디오‑Transformer·그래프 신경망, (3) 인간 시각 메커니즘을 모방한 주의·대조 학습 전략을 통합해야 한다.