AI 생성 텍스트 탐지 왜 실패하는가 설명 가능한 AI가 보여주는 한계

초록

본 논문은 38개의 언어학적 특징을 활용한 해석 가능한 탐지 모델을 제안하고, PAN‑CLEF 2025와 COLING 2025 벤치마크에서 F1 0.9734의 높은 성능을 기록한다. 그러나 교차 도메인·교차 생성기 실험에서 성능이 급격히 떨어지고, SHAP 분석을 통해 중요한 특징이 데이터셋마다 크게 달라짐을 확인한다. 이는 현재 탐지기들이 보편적인 기계 저작 신호보다 데이터셋 특유의 스타일적 신호에 의존하고 있음을 시사한다.

상세 분석

이 연구는 기존 대형 언어 모델 기반 탐지기의 불투명성을 보완하고자, 전통적인 언어학적 특성(표면 통계, 어휘 다양성, 구문 구조, 가독성·예측 가능성, 담화·스타일 지표) 38가지를 정의하고 문서 수준 피처로 변환한다. 피처 기반 머신러닝(주로 XGBoost와 랜덤 포레스트)으로 학습한 모델은 두 주요 벤치마크에서 거의 최첨단 수준의 F1 점수를 달성했으며, 이는 대규모 사전학습 모델 없이도 높은 정확도를 얻을 수 있음을 보여준다. 그러나 핵심 검증은 교차 도메인·교차 생성기 실험이다. PAN‑CLEF에서 학습한 모델을 COLING 데이터에 적용하거나, 반대로 적용했을 때 F1가 0.70 이하로 급락한다. 이는 학습 데이터의 장르·주제·프롬프트 스타일 등에 특화된 신호가 모델의 주요 판단 근거가 됨을 의미한다. SHAP(Shapley Additive Explanations) 분석을 통해 각 데이터셋에서 가장 영향력 있는 피처가 서로 다름을 시각화했으며, 예를 들어 PAN‑CLEF에서는 ‘문장 길이 평균’과 ‘gzip 압축 비율’이, COLING에서는 ‘어휘 엔트로피’와 ‘예측 가능성 점수’가 주도적인 역할을 한다. 이러한 차이는 모델이 실제로 “기계 저작”이라는 잠재 변수를 측정하고 있지 않으며, 대신 데이터셋 고유의 통계적 패턴을 학습하고 있음을 강력히 뒷받침한다. 또한 텍스트 길이와 포맷 변동에 민감한 피처가 높은 중요도를 보이면서, 실제 운영 환경에서 발생할 수 있는 다양한 포맷·길이 변형에 취약함을 드러낸다. 논문은 이러한 한계를 극복하기 위해 피처 선택의 일반화 가능성을 평가하고, 다중 도메인·다중 생성기 학습을 통한 앙상블 전략을 제안한다. 마지막으로, 개별 텍스트에 대한 예측과 SHAP 기반 설명을 동시에 제공하는 파이썬 패키지를 공개함으로써, 연구 재현성과 실무 적용성을 동시에 확보한다.