다양한 마이크로‑비디오 허위정보를 설명하고 견고하게 디버깅하는 새로운 벤치마크와 멀티에이전트 프레임워크

본 논문은 마이크로‑비디오 기반 허위정보 탐지 분야에서 두 가지 주요 문제점을 지적한다. 첫 번째는 기존 벤치마크가 단일 위조 유형에 초점을 맞추어 실제 소셜 미디어에서 나타나는 복합적인 위조 패턴을 충분히 반영하지 못한다는 점이다. 두 번째는 최신 멀티모달 대형 언어 모델(MLLM)이 높은 정확도를 보이지만, 설명이 불투명하고 외부 사실 검증과 연결되지 않아 실무에서 활용도가 낮다는 점이다. 이를 해결하기 위해 저자들은 (1) 대규모 실시간 마이크로‑비디오 데이터셋 WildFakeBench을 구축하고, (2) 다중 에이전트 기반 추론 프레임워크 FakeAgent을 설계하였다. **WildFakeBench 구축 과정** - 데이터 출처: PolitiFact와 중국 인터넷 허위정보 반박 플랫폼을 기준으로, 2017‑2025년 사이에 YouTube, Douyin, Kuaishou, Weibo, Instagram, Bilibili 등 6개 주요 SNS에서 10,107개의 비디오(진실 4,122, 허위 5,985)를 수집하였다. - 중복·노이즈 제거: 텍스트 유사도 기반 필터링과 수동 검수를 통해 중복 비디오와 의미가 겹치는 클립을 제거하였다. - 라벨링 체계: ‘조작(Manipulation)’, ‘인지 편향(Cognitive Bias)’, ‘AI 생성(AIGC)’, ‘맥락 벗어남(Out‑of‑Context)’ 네 가지 대분류와 ‘텍스트 변조’, ‘비디오 변조’, ‘오디오 변조’, ‘잘못된 논리’, ‘과장 서술’, ‘공격적 내용’, ‘지식 오류’, ‘사건 조작·스플라이싱’ 등 10개의 세부 라벨을 도입하였다. 라벨링은 3명 이상의 분야 전문가가 독립적으로 수행하고, 불일치 경우 토론을 통해 최종 합의하였다. **FakeAgent 설계** - **Planner**: 입력 비디오의 시각·청각·텍스트 메타데이터를 추출하고, “이 비디오는 어떤 위조 유형에 해당하는가?”라는 추론 목표를 정의한다. - **Retriever**: 웹 검색, 뉴스 아카이브, 사실 검증 데이터베이스 등 외부 지식원에서 관련 증거(텍스트 기사, 이미지, 동영상)를 검색한다. 검색 결과는 신뢰도 점수와 시간·위치 일치 여부를 기준으로 재정렬된다. - **Locator**: 검색된 증거와 비디오 내 메타데이터를 매핑해, 예를 들어 “비디오에 등장한 건물은 실제로는 베이징에 위치한다”와 같은 구체적 사실을 도출한다. - **Integrator**: Planner‑Retriever‑Locator의 출력을 종합해 증거 기반 논리 사슬을 생성하고, 최종 라벨과 신뢰도 점수를 자연어로 서술한다. 이 과정은 체인‑오브‑생각(Chain‑of‑Thought)과 Retrieval‑Augmented Generation(RAG) 기법을 결합해, 모델이 자체적으로 증거를 탐색·활용하도록 설계되었다. **실험 및 결과** - 비교 모델: GPT‑4V, LLaVA, Flamingo 등 최신 MLLM과, SV‑FEND, NEED 등 기존 멀티모달 CNN‑Transformer 기반 모델을 사용하였다. - 평가 지표: 정확도, F1, 라벨별 AUROC, 그리고 인간 평가자가 채점한 설명 품질(증거 일관성, 논리 흐름, 신뢰도) 3가지 항목을 사용하였다. - 성능: FakeAgent은 전체 정확도 84.7%로 가장 높았으며, 특히 AIGC(91.2%)와 Out‑of‑Context(88.5%) 카테고리에서 기존 MLLM 대비 8~12%p 상승하였다. 설명 품질에서는 평균 4.3/5점을 받아, 기존 모델의 평균 3.1/5점보다 현저히 우수했다. - Ablation Study: Planner 없이 직접 Retriever‑Integrator만 사용할 경우 정확도가 6%p 감소하고, 외부 증거를 사용하지 않을 경우 설명 신뢰도가 30% 이상 하락함을 확인하였다. **한계 및 향후 연구** - 외부 증거 검색은 검색 엔진 품질과 최신성에 크게 의존한다. 실시간 스트리밍 비디오나 저작권 제한이 있는 콘텐츠에 적용하기 위해서는 사전 구축된 증거 데이터베이스가 필요하다. - 라벨링은 전문가 주관에 의존하므로, 라벨 일관성을 확보하기 위한 크라우드소싱 검증 및 인터‑라벨러 신뢰도 측정이 추가로 요구된다. - 현재 시스템은 4가지 대분류에 초점을 맞추었지만, 정치·보건·경제 등 도메인별 특수 위조 패턴을 더 세분화하는 작업이 필요하다. 결론적으로, WildFakeBench은 실세계 마이크로‑비디오 허위정보의 다양성과 복합성을 포괄적으로 제공하는 최초의 대규모 벤치마크이며, FakeAgent은 멀티모달 이해와 외부 증거 기반 추론을 결합해 높은 정확도와 설명 가능성을 동시에 달성한 최초의 프레임워크이다. 두 자산은 향후 허위정보 자동 검증, 사실 검증 플랫폼, 그리고 정책 입안자를 위한 의사결정 지원 시스템에 중요한 기반이 될 것으로 기대된다.