마코프 기반 딥페이크 생성 및 탐지

초록

본 논문은 동전 뒤집기 시퀀스를 이용한 통제된 실험 환경에서 기존 GAN, SVM, 분기 입자 필터(BPF)와 인간 판단에 대비해 마코프 관측 모델(MOM)의 생성·탐지 성능을 평가한다. MOM은 숨겨진 마코프 체인을 활용해 확률적 생성과 최대우도 기반 분류를 동시에 수행하며, 실험 결과 인간 < GAN < SVM < BPF < MOM 순으로 탐지 정확도가 향상됨을 보인다. 또한 MOM은 GAN과 BPF보다 생성 품질에서도 우수함을 확인한다.

상세 분석

이 논문은 딥페이크 연구에서 흔히 다루는 이미지·영상 데이터 대신, 이산적이고 해석이 쉬운 동전 뒤집기 시퀀스를 실험 대상으로 삼았다. 이러한 선택은 데이터 생성 과정과 통계적 특성을 명확히 정의할 수 있어, 각 알고리즘의 근본적인 장단점을 비교하기에 적합하다. 기존 GAN은 생성자와 구분자를 신경망으로 구현해 데이터 분포를 학습하지만, 학습 불안정성, 모드 붕괴, 그리고 확률적 해석이 어려운 점이 있다. 반면 SVM은 판별에 강점이 있으나, 생성 능력이 없으며 고차원 특징 설계가 필요하다. BPF는 입자 기반 필터링으로 시계열의 숨은 상태를 추정하지만, 입자 수에 따라 계산 비용이 크게 변하고, 파라미터 튜닝이 복잡하다.

제안된 마코프 관측 모델(MOM)은 숨겨진 마코프 체인(숨은 상태 X와 관측 Y)으로 구성된다. 학습 단계에서는 Baum‑Welch와 유사한 전방‑후방 EM 알고리즘을 사용해 전이 확률 p와 초기 분포 μ를 최대우도 추정한다. 이는 HMM과 동일한 수렴 특성을 가지며, 파라미터가 명시적으로 해석 가능하다는 장점이 있다. 생성 단계에서는 학습된 전이 행렬을 이용해 숨은 상태 시퀀스를 샘플링하고, 관측 Y만을 출력함으로써 “숨은 파라미터”를 버린다. 탐지 단계에서는 실제 시퀀스가 실제 코인(θ=Real) 모델과 가짜 코인(θ=Fake) 모델 중 어느 쪽에 더 높은 우도(Likelihood)를 갖는지 비교한다. 이 방식은 확률적 모델 선택 기준을 직접 적용하므로, 판별 기준이 명확하고 인간이 직관적으로 판단하기 어려운 미세한 상관관계까지 포착한다.

실험 설계는 다섯 종류의 데이터 소스를 포함한다. (1) 난수 생성기로 만든 완전 랜덤 시퀀스(실제), (2) 15명의 학생이 만든 인간이 만든 가짜 시퀀스, (3) 기존 논문