협업 기반 딥페이크 영상 식별 도구

초록

Collab은 사용자가 동영상의 시공간 영역을 직접 표시하고 신뢰도와 근거를 입력하도록 설계된 웹 플러그인이다. 신뢰도 가중 3차원 IoU 알고리즘으로 다수의 주석을 통합하고, 계층적 시각화로 결과를 제시해 사용자에게 비판적 사고를 촉진한다. 7일간 90명을 대상으로 한 온라인 실험에서 기존 방식보다 정확도와 반성적 판단이 크게 향상되었다.

상세 분석

본 논문은 딥페이크 영상의 복잡한 시공간 변조를 인간이 직접 탐지하도록 지원하는 협업 주석 시스템 ‘Collab’을 제안한다. 첫 번째 핵심은 직관적인 인터페이스로, 사용자는 비디오 플레이어 위에 사각형 형태의 시공간 영역을 드래그해 표시하고, 라벨, 신뢰도 점수(0‑100), 그리고 선택적 근거 텍스트를 입력한다. 이 과정은 비전문가도 손쉽게 수행할 수 있도록 설계되었으며, 기존 커뮤니티 노트와 달리 시각적 영역을 직접 지정함으로써 변조 위치를 정밀하게 드러낸다.

두 번째 핵심은 ‘신뢰도 가중 3D IoU’ 집계 알고리즘이다. 각 주석을 3차원(시간 + 2D 공간) 바운딩 박스로 변환한 뒤, IoU가 사전 임계값을 초과하는 주석들을 클러스터링한다. 클러스터 내에서는 사용자의 신뢰도 점수와 사전 정의된 사용자 신뢰도(예: 과거 정확도 기반) 가중치를 곱해 가중 평균을 구하고, 가장 높은 가중치를 가진 라벨을 대표 라벨로 선정한다. 이렇게 하면 소수 의견이 과도히 억제되지 않으면서도 고신뢰도 기여자의 의견이 적절히 반영된다.

세 번째 핵심은 ‘계층적 시연’ 전략이다. 집계된 결과를 투명하게 시각화하되, 초기 화면에서는 반투명 색상 오버레이와 집계 신뢰도만 보여준다. 사용자가 관심 영역에 마우스를 올리면 라벨, 평균 신뢰도, 그리고 집계된 근거 요약이 팝업으로 나타난다. 원본 개별 주석은 호버 시에만 표시돼 사회적 순응(동조) 편향을 최소화한다.

연구 설계는 세 가지 조건을 비교하였다. (1) Collab(주석 + 집계 + 시연), (2) No Agg(주석 + 시연 없이 집계 미사용), (3) No Label(주석 + 집계 없이 시연 미제공). 7일간 90명의 참여자가 12개의 딥페이크·진짜 영상에 대해 작업했으며, 정확도, 반성점수, 사용성 평가 등을 수집했다. Collab은 평균 정확도 88.1%를 기록했으며, No Agg(79.7%)보다 통계적으로 유의하게 높았다(p < 0.01). 또한 반성, 합리적 판단, 새로움, 효율성 등 주관적 평점에서도 모든 차원에서 우수함을 보였다.

이 논문은 인간 중심의 협업 인텔리전스와 사회적 영향 이론을 설계 프레임워크에 통합한 점이 혁신적이다. 라벨링 단계에서 다양성·독립성·동기 부여를 강조하고, 시연 단계에서는 규범·정보·사회 비교 영향을 조절함으로써 부정적 순응을 억제하고 건설적 비판을 촉진한다. 알고리즘적 기여와 UI 설계가 유기적으로 결합돼 딥페이크 탐지의 인간‑기계 협업 가능성을 실증적으로 제시한다. 다만, 현재는 라벨이 사전 정의된 카테고리(진짜/가짜)로 제한되고, 사용자 신뢰도 모델이 단순히 과거 정확도에 기반해 있어 장기적 신뢰도 추정이나 악의적 공격에 대한 내성이 부족하다. 향후 연구에서는 다중 라벨링, 지속적 신뢰도 학습, 그리고 실제 SNS 환경에서의 실시간 배포를 탐색할 필요가 있다.