멀티모달 정렬과 강화학습을 통한 설명 가능한 딥페이크 탐지

초록

MARE는 비전‑언어 모델(VLM)에 강화학습‑인간피드백(RLHF) 기반 다중 보상 함수를 적용하고, 얼굴 이미지에서 정체성·구조·위조 흔적을 분리하는 위조 해석 모듈을 도입해 텍스트와 공간 정보를 일치시키는 설명형 딥페이크 탐지 시스템이다. 제안된 방법은 기존 VLM 대비 정확도·신뢰도 모두에서 최고 수준을 달성한다.

상세 분석

MARE는 현재 딥페이크 탐지 연구의 두 가지 한계를 동시에 해결한다. 첫째, 기존 VLM은 미세한 위조 흔적을 포착하기 어려워 정확도가 떨어진다. 이를 극복하기 위해 저자는 “위조 해석 모듈(Forgery Disentanglement Module, FDM)”을 설계해 입력 얼굴을 정체성(feature‑identity), 구조(feature‑structure), 위조 흔적(feature‑forgery) 세 부분으로 분리한다. 이때 각 서브스페이스는 대조 학습과 차원 축소를 통해 서로 독립적인 표현을 학습하며, 위조 흔적 특징은 이후 VLM의 텍스트 생성 과정에 직접적인 힌트로 제공된다.

둘째, VLM이 생성하는 설명이 인간이 기대하는 형식과 내용에 부합하지 않는 경우가 많다. MARE는 RLHF 프레임워크 아래 다섯 가지 보상 함수를 정의한다.

• 형식 보상(R_f): …와 … 태그 구조, 그리고 “explanation”과 “bboxes” 필드가 정확히 존재해야 1점, 아니면 0점.
• 정확도 보상(R_a): 설명 내 “real” 혹은 “fake” 라벨이 정답과 일치하면 1점.
• 텍스트 연관성 보상(R_t): 사전 학습된 Sentence‑Transformer로 인간 주석 텍스트와 생성 텍스트의 코사인 유사도를 계산, 0~1 사이 값.
• ROI 보상(R_r): 생성된 바운딩 박스가 실제 위조 영역과 겹치는 비율을 기반으로 점수화.
• 정렬 보상(R_align): 텍스트에 언급된 얼굴 부위와 바운딩 박스가 1:1 매핑되는 정도를 평가.

이러한 보상들은 GRPO(Generalized Relative Policy Optimization) 기반 정책 그라디언트 업데이트에 사용되어, VLM이 “텍스트‑공간 정렬”이라는 복합 목표를 동시에 학습한다.

데이터 측면에서는 기존 이미지‑텍스트 딥페이크 데이터셋에 얼굴 랜드마크 기반 바운딩 박스를 자동 추출해 “멀티모달 정렬 데이터셋(DMA)”을 구축하였다. 키워드 추출(E)와 랜드마크 검출(L) 파이프라인을 통해 텍스트에 명시된 부위와 정확히 대응되는 좌표를 제공함으로써, 모델이 텍스트와 시각 정보를 일관되게 연결하도록 유도한다.

실험 결과, MARE는 여러 공개 딥페이크 벤치마크(FaceForensics++, DFDC 등)에서 정확도와 F1 점수 모두 기존 최첨단 VLM 기반 방법(M2F2‑Det, KFD, RAIDX)보다 3~5%p 상승했으며, 인간 평가에서도 설명의 설득력과 신뢰도가 크게 향상된 것으로 보고된다. 특히, 위조 해석 모듈이 없는 베이스라인과 비교했을 때 위조 흔적 탐지 정확도가 평균 12%p 상승했다.

한계점으로는 (1) FDM이 사전 정의된 세 가지 특징에만 의존해 복합적인 위조 기법(예: 얼굴 전체 변형, 배경 합성 등)을 완전히 포착하지 못할 수 있다. (2) RLHF 단계에서 인간 선호 데이터를 수집하는 비용이 높으며, 보상 설계가 과도하게 규격화될 경우 모델의 창의적 추론 능력이 억제될 위험이 있다. (3) 실시간 영상 스트림에 적용하려면 추론 비용이 아직 높은 편이다. 향후 연구에서는 더 풍부한 위조 특징 공간과 경량화된 RLHF 파이프라인을 탐색할 필요가 있다.