부분 조작 딥페이크와 검출을 위한 새로운 벤치마크

초록

FakeParts는 영상의 특정 공간 영역이나 시간 구간만을 미세하게 변조하는 부분 딥페이크를 정의한다. 기존의 전면 합성 딥페이크와 달리 실제 영상과 자연스럽게 섞여 탐지 난이도가 높다. 이를 평가하기 위해 81 000개 이상의 영상(44 000개는 FakeParts)과 픽셀·프레임 수준의 변조 마스크를 제공하는 대규모 벤치마크 FakePartsBench를 구축하였다. 인간 실험에서 FakeParts는 전통적 딥페이크 대비 탐지 정확도가 최대 26 % 감소했으며, 최신 검출 모델도 성능이 크게 떨어진다. 논문은 이러한 취약성을 규명하고, 부분 변조에 강인한 탐지 기술 개발을 위한 데이터와 평가 프로토콜을 제공한다.

상세 분석

본 논문은 딥페이크 연구의 새로운 패러다임을 제시한다. 기존 연구는 전체 프레임을 인공적으로 생성하거나 얼굴 전체를 교체하는 방식에 집중했으며, 그에 맞는 대규모 데이터셋(예: DFDC, FaceForensics++)이 구축되어 왔다. 그러나 실제 악용 시나리오에서는 전체 영상을 교체하기보다 특정 표정, 물체, 배경만을 교체해 신뢰성을 높이는 경우가 늘어나고 있다. 저자들은 이러한 “부분 딥페이크(FakeParts)”를 정의하고, 인간 인지 실험을 통해 미세 변조가 인지적 피로와 혼동을 유발해 탐지율을 크게 낮춘다는 사실을 입증하였다. 특히, 변조가 1~2 %의 픽셀 영역에 국한될 때 가장 높은 속임수 효과를 보였으며, 이는 기존 검출기들이 주로 전역적인 주파수·색상·텍스처 불일치를 탐지하도록 설계된 점과 일치한다.

데이터 구축 측면에서 저자들은 21개의 최신 생성 모델(Sora, Open‑Sora, CogVideoX 등)과 9개의 변조 유형(얼굴 교체, 인페인팅, 아웃페인팅, 색상 스타일 변환, 프레임 보간 등)을 조합해 81 K 영상 클립을 수집·생성하였다. 각 클립에는 픽셀‑레벨 마스크와 프레임‑레벨 타임스탬프가 제공되어, 검출 모델이 “어디가 변조됐는가”를 직접 학습할 수 있게 설계되었다. 데이터는 720p 이상 고해상도 영상을 30 % 이상 포함하고 있어, 기존 데이터셋이 갖는 저해상도 한계를 극복한다.

검출 실험에서는 대표적인 주파수 기반, 구조 기반, 시계열 기반, 그리고 멀티모달(VLM 기반) 탐지기들을 평가했으며, 모든 모델이 FakeParts에 대해 평균 정확도가 40 %~50 % 수준으로 급락했다. 특히, 프레임 보간이나 색상 스타일 변환처럼 시각적 변형이 거의 없지만 의미론적 정보를 바꾸는 경우, 기존 모델은 거의 구분하지 못했다. 이는 현재 탐지기들이 “전역적인 아티팩트”에 의존하고, “지역적·단시간 변조”를 포착할 수 있는 미세 그레인 분석이 부족함을 시사한다.

논문은 두 가지 주요 기여를 강조한다. 첫째, 부분 딥페이크라는 새로운 위협 모델을 체계화하고, 인간·기계 모두에서 탐지 취약성을 정량화했다. 둘째, FakePartsBench라는 표준 벤치마크를 공개해, 연구 커뮤니티가 부분 변조에 특화된 탐지 알고리즘을 개발·비교할 수 있는 기반을 마련했다. 향후 연구는 (1) 지역‑시계열 특징을 동시에 학습하는 하이브리드 네트워크, (2) 변조 마스크를 활용한 자기‑감시 학습, (3) 멀티모달(음성·텍스트·영상) 연관성을 이용한 교차 검증 등으로 확장될 여지가 크다.