멀티모달·다언어 가짜뉴스 탐지를 위한 설명 가능한 텍스트·그래프 학습

초록

본 논문은 텍스트, 메타데이터, 사용자 네트워크 등 소셜 미디어의 다중 모달 정보를 결합하고, 그래프 신경망과 언어 모델을 활용해 가짜뉴스를 판별한다. 또한 GraphLIME과 Integrated Gradients를 이용해 판별 근거를 인간이 이해하기 쉬운 형태로 제공함으로써 설명 가능성을 확보한다. 실험은 영어·스페인어·포르투갈어 트위터 데이터셋(MuMiN)에서 수행했으며, 다중 모달 결합이 단일 모달보다 정확도가 높고, 제안된 설명이 신뢰성·해석성·견고성을 만족함을 보였다.

상세 분석

이 연구는 가짜뉴스 탐지에 있어 기존 텍스트‑기반 접근법의 한계를 극복하고자, 소셜 미디어 포스트를 “텍스트(T)”, “메타데이터(M)”, “k‑hop 로컬 그래프(G)”, 그리고 “언어(lang)” 네 가지 요소로 정의한다. 텍스트는 언어별 사전학습 BERTweet(영어), BERTweet‑BR(포르투갈어), RoBERTa‑uito(스페인어) 로 인코딩하고, 메타데이터는 리플라이·인용·리트윗 수 등 수치형 피처를 단순 선형 변환 후 벡터화한다. 두 벡터는 단순 연결(concatenation)되어 포스트‑노드 임베딩 Xₚᵢ를 만든다.

다음 단계인 “Misinformation Detection Module”에서는 Graph Attention Network(GAT)를 적용한다. 각 포스트‑노드는 자신의 로컬 그래프 Gₖ(리플라이·인용·멘션 등)와 연결된 이웃 노드들의 임베딩을 자기‑주의 메커니즘 αₖⱼ를 통해 가중합하고, 선형 변환 W와 비선형 활성화 σ를 거쳐 다중 모달 노드 표현 mₚᵢ를 얻는다. 최종 클래스 확률은 softmax를 통해 계산되며, 0은 허위, 1은 진실을 의미한다.

설명 가능성 확보를 위해 두 가지 포스트‑후 사후 해석 기법을 병합한다. 그래프 기반 설명은 GraphLIME을 사용해 HSIC‑Lasso 기반의 k‑hop 이웃에서 가장 영향력 있는 피처를 추출한다(ζ_gₚᵢ). 텍스트 기반 설명은 Integrated Gradients를 적용해 각 토큰에 대한 기여도를 정량화한다(ζ_tₚᵢ). 두 스코어는 시각화 및 정량적 평가에 활용되며, 사용자는 그래프 피처와 텍스트 토큰 두 관점에서 모델의 판단 근거를 동시에 확인할 수 있다.

실험은 MuMiN‑small 데이터셋(2,183개 청구·7,202,506개 트윗)에서 영어·스페인어·포르투갈어 트윗만을 추출해 진행했다. 다중 모달 결합 모델은 단일 텍스트 모델 대비 F1 점수에서 평균 4~6%p 상승했으며, 특히 메타데이터와 그래프 구조가 풍부한 경우 성능 향상이 두드러졌다. 설명 평가에서는 인간 평가자를 대상으로 해석성(interpretability), 신뢰성(trustworthiness), 견고성(robustness) 세 축을 측정했으며, 제안된 설명이 기존 LIME·SHAP 기반 방법보다 일관된 중요도 순위를 제공하고, 노이즈가 추가된 입력에 대해서도 안정적인 점수를 유지함을 확인했다.

이 논문의 주요 기여는 (1) 텍스트·메타데이터·그래프를 통합한 다중 모달 파이프라인을 제시하고, (2) 언어별 사전학습 모델을 동적으로 라우팅하는 언어 프록시 메커니즘을 도입했으며, (3) 그래프와 텍스트 두 차원의 설명을 결합해 완전성(completeness)과 직관성(interpretability) 사이의 균형을 맞춘 점이다. 또한, 다국어·다주제·다형식 데이터를 동시에 다룰 수 있는 최초의 프레임워크 중 하나로, 실제 팩트‑체킹 워크플로우에 적용 가능성을 보여준다.