정치 딥페이크 탐지를 위한 불확실성 인식 확률적 CNN

초록

**
본 논문은 정치적 이미지 딥페이크 탐지에 확률적 합성곱 신경망을 적용해 불확실성을 정량화하고, 캘리브레이션 및 오류‑불확실성 상관관계를 통해 실제 운영 환경에서 위험‑인식 의사결정을 지원하는 방법을 제시한다.

**

상세 분석

**
이 연구는 정치적 딥페이크 탐지 모델이 단순히 “진짜/가짜”라는 이진 예측만 제공하는 현 상황을 비판하고, 고위험 의사결정에 필수적인 예측 신뢰도 정보를 제공해야 한다는 점을 강조한다. 이를 위해 저자는 두 가지 서로 다른 규모와 설계 철학을 가진 CNN 백본(ResNet‑18, EfficientNet‑B4)을 선택하고, 전이학습 기반으로 전체 파라미터를 미세조정한다. 핵심 기법은 테스트 시 드롭아웃을 활성화해 다중 전방 패스를 수행하는 Monte Carlo Dropout이며, 이를 단일‑패스 확률적 추론, 온도 스케일링 기반 캘리브레이션, 그리고 비베이지안 앙상블과 비교한다.

불확실성 평가 지표는 (1) 캘리브레이션 품질(ECE, Brier Score, NLL)과 (2) 불확실성‑오류 상관관계(불확실성이 높은 샘플이 실제 오분류 비율이 높은지) 두 축으로 구성된다. 특히 저자는 전역 평가와 신뢰도 구간별(Confidence‑Conditioned) 평가를 동시에 수행해, 높은 신뢰 구간에서도 불확실성이 의미 있는지를 정량화한다.

데이터셋 구축 단계에서도 주목할 점이 있다. Open‑FAKE 코퍼스에서 메타데이터 기반 키워드 필터링을 통해 정치적 맥락에 해당하는 4,000장의 이미지를 추출하고, 클래스 균형을 맞춘 뒤 학습/검증/테스트 2,800/600/600 비율로 분할한다. 또한, 훈련에 사용되지 않은 생성기(Generator‑disjoint)로 구성한 OOD(Out‑of‑Distribution) 셋을 별도 마련해, 모델이 새로운 합성 기법에 대해 얼마나 일반화되는지를 평가한다.

실험 결과는 다음과 같다. 기본 deterministic 모델은 높은 ROC‑AUC(>0.94)를 기록했지만, 캘리브레이션 오류(ECE)가 0.12 수준으로 과신 경향을 보였다. MC‑Dropout을 30번 샘플링한 후 평균화하면 ROC‑AUC는 거의 동일하면서 ECE가 0.05 이하로 크게 개선되었으며, 불확실성‑오류 상관계수도 0.68로 의미 있게 상승했다. 온도 스케일링은 캘리브레이션만을 개선했지만 불확실성‑오류 상관관계는 크게 변하지 않았다. EfficientNet‑B4는 전반적으로 더 높은 정확도와 낮은 ECE를 보였지만, 불확실성 추정의 변동성은 ResNet‑18과 비슷했다. OOD 테스트에서는 모든 방법이 ROC‑AUC가 0.85 수준으로 감소했지만, MC‑Dropout 기반 모델이 가장 낮은 ECE와 높은 불확실성‑오류 상관을 유지해, 새로운 생성기에 대한 위험 인식이 가능함을 확인했다.

결과 해석에서는 불확실성 추정이 단순히 “예측을 부드럽게” 만드는 것이 아니라, 실제 운영 정책(예: 자동 차단 vs. 인간 검토 전이)에서 임계값을 동적으로 조정하는 근거가 될 수 있음을 강조한다. 특히, 신뢰도 구간 분석을 통해 “높은 확신도(>0.9)에서도 불확실성이 크게 상승하는 경우”를 식별하면, 해당 샘플을 별도 검토 대상으로 지정할 수 있다. 반면, 불확실성이 낮지만 정확도가 떨어지는 경우는 모델 자체의 표현력 한계로 판단되어, 아키텍처 교체나 데이터 보강이 필요함을 시사한다.

전반적으로 이 논문은 정치적 딥페이크 탐지에 불확실성 인식을 도입함으로써, 기존의 단일 점 예측에 머무르던 연구를 넘어 실제 의사결정 흐름에 바로 적용 가능한 정량적 지표와 운영 가이드를 제공한다는 점에서 의의가 크다.

**