맞춤형 서브게이트 라우팅으로 제로샷 LLM 텍스트 탐지 성능 극대화

초록

본 논문은 제로샷 LLM 생성 텍스트 탐지에서 고정된 서브게이트 모델을 사용하는 기존 접근법의 한계를 규명하고, 입력마다 가장 적합한 서브게이트를 선택하는 라우팅 문제로 전환한다. 두 단계 학습을 통해 백색‑상자 모델로부터 판별적 프로토타입을 구축하고, 검은‑상자 모델의 탐지 점수를 이용해 기하학적 거리와 탐지 점수 분포를 정렬함으로써 DetectRouter라는 프로토타입 기반 라우팅 프레임워크를 제안한다. EvoBench·MAGE 벤치마크에서 모든 탐지 기준과 모델군에 걸쳐 평균 36% 이상의 성능 향상을 달성한다.

상세 분석

본 연구는 제로샷 LLM‑generated 텍스트 탐지에서 “서브게이트‑소스 정합성”이 핵심 변수임을 실험과 이론을 통해 명확히 밝힌다. 먼저 Fast‑DetectGPT를 포함한 여러 통계 기반 탐지기들을 9개의 공개 모델을 서브게이트로 사용해 교차 평가했을 때, 동일 모델(대각선)에서는 AUROC가 0.9에 육박하지만, 서로 다른 모델 간에는 0.2~0.9 사이의 큰 격차가 발생한다는 사실을 발견했다. 특히 아키텍처가 유사한 모델군(예: GPT‑Neo vs GPT‑J)끼리는 상대적으로 높은 상호 정합성을 보였으며, 구조가 다른 모델 간에는 KL‑다이버전스가 크게 증가해 탐지 신호가 크게 왜곡된다. 이를 정량화한 “Mismatch Risk Bound”는 서브게이트와 소스 분포 사이 KL‑다이버전스의 제곱근이 탐지 신호 오차의 상한임을 증명한다. 따라서 최적 서브게이트는 KL‑다이버전스를 최소화하는 모델이어야 한다는 결론에 도달한다.

이론적 통찰을 바탕으로 저자들은 라우팅 문제를 “입력 텍스트를 임베딩 공간에 매핑 → 가장 가까운 프로토타입(서브게이트) 선택 → 해당 서브게이트로 탐지 점수 계산”이라는 파이프라인으로 설계한다. 핵심은 두 단계 학습이다. 1단계에서는 백색‑상자 모델(소스 라벨이 알려진)으로부터 다중 과제(직접 생성, 텍스트 polishing, 재작성) 데이터를 수집하고, contrastive loss와 margin‑based separation loss를 결합해 클래스별 프로토타입을 학습한다. 이 과정에서 임베딩은 동일 모델의 스타일리시한 특징을 압축하고, 서로 다른 모델 간 거리는 명확히 구분된다. 2단계에서는 검은‑상자 모델(라벨이 없는)로부터 얻은 탐지 점수 벡터를 “거리‑점수 정렬” 목표로 사용한다. 즉, 임베딩과 프로토타입 간 유클리드 거리가 실제 탐지 점수와 높은 상관관계를 갖도록 KL‑다이버전스 기반 손실을 최소화한다. 이렇게 하면 실제 소스 분포를 직접 알 수 없더라도, 거리 기반 라우팅이 암묵적으로 KL‑다이버전스를 최소화하는 서브게이트를 선택하게 된다.

실험에서는 EvoBench(다양한 모델·프롬프트·도메인)과 MAGE(실제 상용 모델) 두 벤치마크에 대해 6가지 탐지 기준(가능도, Rank, LogRank, Entropy, Fast‑DetectGPT, 기타)과 10여 개 서브게이트 모델을 조합했다. DetectRouter는 고정 서브게이트 대비 평균 AUROC가 5.4%~139.4% 향상되었으며, 전체 평균 36.1% 상승을 기록했다. 특히 Fast‑DetectGPT 기준에서 평균 AUROC 90.85% (EvoBench)와 77.92% (MAGE)를 달성해 기존 최고 성능보다 각각 9.84%·4%p 상승했다. 추가 분석에서는 프로토타입 수, 임베딩 차원, 온도 파라미터 등에 대한 민감도 실험을 수행해 라우팅 안정성을 검증했으며, 라우팅 오류가 전체 성능에 미치는 영향을 정량화했다.

결과적으로 이 논문은 “서브게이트 선택을 정적이 아닌 동적으로 최적화”함으로써 제로샷 LLM 탐지의 근본적인 한계를 극복한다는 중요한 메시지를 제시한다. 프로토타입 기반 라우팅은 기존 탐지기와 별개로 플러그인 형태로 적용 가능하며, 새로운 서브게이트 모델이 추가될 때도 프로토타입만 업데이트하면 되므로 확장성이 뛰어나다. 향후 연구 방향으로는 멀티‑프로토타입 앙상블, 라우팅 비용 최소화, 그리고 비정형 텍스트(코드, 표 등)로의 일반화가 제시된다.