LLM 생성 텍스트가 다국어 허위정보에 침투한 실증 분석

초록

본 연구는 최신 다국어 허위정보 데이터셋에 LLM이 생성한 텍스트가 실제로 존재한다는 최초의 실증 증거를 제시한다. ChatGPT 공개 이후 LLM‑생성 텍스트 비중이 2021년 0.9%에서 2023년 1.85%로 거의 두 배로 증가했으며, 언어·플랫폼별로 차별적인 분포를 보인다.

상세 분석

이 논문은 크게 네 가지 연구 질문(RQ1‑RQ4)을 설정하고, 두 개의 맞춤형 LLM 탐지 모델(Gemma_GenAI, Gemma_MultiDomain)을 활용해 다국어 허위정보 데이터에 대한 정량적 분석을 수행한다. 탐지 모델은 QLoRA 기반으로 9 B 파라미터 Gemma‑2 모델을 각각 다른 학습 코퍼스(GenAI와 MULTITUDE+MultiSocial)로 미세조정했으며, 서로 보완적인 특성을 갖는다. 모델 성능 평가는 기존 라벨링된 다국어 벤치마크(MULTITUDE, MultiSocial, SemEval, GenAI, MIX)에서 정밀도 0.93580.9985, 거짓양성률(FPR) 0.00250.0579, 재현율(TPR) 0.4988~0.9852를 기록, 특히 인간 텍스트를 99% 이상 오인하지 않으면서 기계 텍스트를 높은 비율로 탐지한다는 점을 보여준다.

실험 데이터는 크게 두 그룹으로 나뉜다. 첫 번째는 탐지 모델의 외부 검증을 위한 라벨링된 벤치마크, 두 번째는 실제 온라인 환경에서 수집된 허위정보 의심 데이터(MultiClaim, FakeNews, USC_X, FIGNEWS 등)이다. MultiClaim 데이터셋(전문 팩트체크된 다국어 SNS 포스트)에서 연도별 평균 점수(Mean Score)가 2021년 0.04→2023년 0.36(Gemma_GenAI)로 급격히 상승했으며, 이는 LLM‑생성 텍스트 비중이 최소 1.5%에서 최대 15%까지 확대됐음을 의미한다. 결합 탐지 방식(두 모델 중 하나가 1.0 확신, 다른 모델이 0 초과 확신)으로 추정한 2023년 비중은 1.85%이며, 최악의 정밀도 0.93을 적용해도 실제 기계 생성 텍스트 비율은 최소 1.7%에 달한다.

언어별 분석에서는 폴란드어(4.7%)와 프랑스어(4.2%)가 가장 높은 비중을 보였으며, 영어·스페인어는 절대량이 많지만 비중은 상대적으로 낮았다. 플랫폼별로는 트위터(0.64%)보다 페이스북(1.29%)과 인스타그램(1.5%)에서 LLM‑생성 텍스트가 더 많이 발견되었다. 또한, ‘False’ 라벨이 붙은 주장 중 1.36%가 LLM 텍스트였으며, ‘True’ 라벨에서도 0.76%가 검출돼 실제 사실 검증 과정에서도 LLM이 개입하고 있음을 시사한다.

다른 데이터셋에서도 LLM‑생성 텍스트가 존재함을 확인했다. FIGNEWS(3.16%)와 FakeNews(2.61%‑3.27%)는 특히 높은 비중을 보였으며, 프랑스어 텍스트에서는 10% 이상이 LLM에 의해 생성된 것으로 나타났다. USC_X 데이터셋(2024년 미국 선거 트윗)에서는 월별 비중이 지속적으로 상승하는 추세를 보여, 선거 기간 동안 LLM 활용이 급증하고 있음을 암시한다.

논문은 이러한 실증 결과를 바탕으로 세 가지 주요 시사점을 제시한다. 첫째, LLM‑생성 허위정보는 이미 실세계 데이터에 침투했으며, 단순 추측이 아니라 측정 가능한 현상이다. 둘째, 언어·플랫폼별 차별적 패턴은 공격자가 목표 청중을 정밀 타깃팅하고 있음을 보여, 기존의 “전반적 위험” 논의보다 더 세분화된 위협 모델링이 필요함을 강조한다. 셋째, 현재 탐지 기술은 높은 정밀도를 유지하면서도 외부 데이터에 대한 일반화가 가능하므로, 실시간 모니터링 및 신뢰도 평가 시스템에 통합될 잠재력이 크다. 향후 연구는 (1) LLM‑생성 텍스트의 변형(패러프레이징, 번역) 탐지, (2) 모델 기반의 역공학적 방어(예: 적대적 학습), (3) 정책·법적 차원의 대응 방안을 다각도로 모색해야 한다.