다중레벨 대비학습과 보조다중작업으로 구현한 세분화 AI 텍스트 탐지 프레임워크 FAID

초록

FAID는 인간, LLM, 인간‑LLM 협업 텍스트를 3가지 클래스로 구분하고, 생성 모델의 패밀리를 식별한다. 다중레벨 대비학습과 다중작업 보조 분류를 결합해 스타일적 미세 차이를 학습하며, 다국어·다도메인·다생성기 데이터셋 FAIDSet(83 k 예시)으로 훈련한다. 실험 결과, 기존 이진 탐지기 대비 도메인·언어·새 모델 일반화에서 현저히 높은 정확도를 달성한다.

상세 분석

FAID 논문은 현재 AI‑지원 작문 환경에서 “누가 글을 썼는가”를 묻는 문제를 세분화된 형태로 정의한다. 기존 연구가 인간 vs. AI 이진 분류에 머물렀던 반면, 본 연구는 (1) 완전 인간, (2) 완전 LLM, (3) 인간‑LLM 협업이라는 세 가지 라벨을 동시에 예측하고, (4) 생성된 텍스트가 어느 LLM 패밀리(GPT‑4, Gemini, Llama‑3, DeepSeek 등)에서 왔는지를 추가로 식별한다. 이를 위해 저자들은 두 가지 핵심 기술을 도입한다.

첫째, **다중레벨 대비학습(Multi‑Level Contrastive Learning)**이다. 텍스트를 XLM‑RoBERTa 기반 인코더 φ(·)에 통과시켜 d 차원 임베딩을 얻고, 동일 패밀리·동일 생성 형태(예: LLM‑generated) 간 코사인 유사도를 최대화하고, 서로 다른 패밀리·다른 생성 형태 간 유사도를 최소화한다. 논문에서는 5단계 분포 P₁~P₅을 정의해 “같은 패밀리 내부 > 같은 패밀리와 인간‑LLM 협업 > 서로 다른 패밀리와 인간‑LLM 협업 > 인간‑LLM 협업 전체 > 인간” 순으로 유사도가 감소하도록 제약을 설정한다. 이 구조는 스타일적 신호를 고차원 공간에 명시적으로 정렬시켜, 미세한 문체 차이까지도 구분 가능하게 만든다.

둘째, **다중작업 보조 분류(Multi‑Task Auxiliary Classification)**이다. 대비학습과 병행해 (a) 3‑class 텍스트 출처 분류, (b) LLM 패밀리 식별(다중 클래스) 두 개의 헤드가 추가된다. 보조 작업은 인코더가 “누가 썼는가”와 “어떤 모델이 썼는가”를 동시에 학습하도록 강제함으로써, 대비학습만으로는 포착하기 어려운 전역적인 레이블 정보를 보강한다.

데이터 측면에서 저자들은 FAIDSet이라는 새로운 벤치마크를 구축했다. 영어와 베트남어 두 언어, 학위 논문 초록·학술 논문 초록 두 도메인을 포함하며, 83 350개의 샘플을 수집·생성했다. LLM‑generated와 인간‑LLM 협업 텍스트는 다양한 프롬프트(톤, 길이, 편집 방식)로 다변화했으며, 품질 검증을 위해 인간 검토자를 통한 플루언시·일관성·사실성 검사를 수행했다. 이렇게 다국어·다도메인·다생성기 구성을 갖춘 데이터는 기존 영어‑단일 도메인 데이터와 차별화된다.

실험에서는 (1) In‑Domain(학위 논문·초록, 동일 언어·모델)과 (2) Out‑of‑Domain(다른 언어·새 LLM) 두 축으로 성능을 평가했다. 베이스라인으로는 기존 이진 탐지기(SeqXGPT, DeTective 등), 다중작업 기반 탐지기(LLM‑DetectAIve), 도메인 적응 기법(OUTFOX) 등을 사용했다. 결과는 FAID가 전체 정확도에서 4~9%p 상승을 보였으며, 특히 새로운 LLM 패밀리와 베트남어 도메인에서 기존 모델 대비 12%p 이상 높은 F1 점수를 기록했다. 또한, 임베딩 기반 검색 방식을 도입해 새로운 데이터에 대해 재학습 없이 임베딩만 추가하면 즉시 탐지가 가능하도록 설계했다. 이는 실시간 서비스 환경에서 모델 재학습 비용을 크게 절감한다는 실용적 장점을 제공한다.

한계점으로는 (1) 데이터가 통제된 프롬프트 환경에서 생성돼 실제 “in‑the‑wild” LLM 출력과 차이가 있을 수 있다, (2) 인간‑LLM 협업 라벨을 하나로 통합함으로써 세부 협업 유형(예: 인간이 초안을 쓰고 LLM이 다듬는 vs. LLM이 초안을 쓰고 인간이 수정하는) 간 차별력은 낮다. 향후 연구에서는 보다 자연스러운 협업 로그를 수집하고, 협업 유형별 세분화 라벨링을 도입해 탐지 정밀도를 높일 여지가 있다.

전반적으로 FAID는 스타일 기반 저자 모델링을 LLM 패밀리까지 확장하고, 대비학습과 다중작업을 결합해 다국어·다도메인·새 모델 일반화라는 핵심 문제를 효과적으로 해결한 점이 가장 큰 공헌이다.