AdaDetectGPT: 통계적 보장을 갖춘 적응형 LLM 텍스트 탐지기

초록

AdaDetectGPT는 기존 로그 확률 기반 탐지기의 한계를 극복하기 위해 외부 학습 데이터를 활용해 증인 함수(witness function)를 적응적으로 학습한다. 이 함수는 로그 확률에 비선형 변환을 적용해 검출력을 높이며, 마르티게일 중심극한정리를 이용해 거짓 부정률(FNR)을 정밀하게 제어한다. 논문은 유한 표본에 대한 TPR, FPR, TNR, FNR의 이론적 경계와 함께, 다양한 데이터셋·LLM 조합에서 기존 Fast‑DetectGPT 대비 AUC를 최대 37%까지 향상시킨 실험 결과를 제시한다.

상세 분석

AdaDetectGPT는 크게 네 가지 핵심 아이디어로 구성된다. 첫째, 기존 통계 기반 탐지기인 DetectGPT·Fast‑DetectGPT가 활용하는 “log‑probability” 통계에 비선형 변환을 가하는 증인 함수 w 를 도입한다. w는 1차원 함수이며, 학습 데이터(인간 텍스트와 LLM 생성 텍스트)로부터 TNR의 하한을 최대화하도록 최적화된다. 이 최적화는 선형 방정식 시스템을 푸는 수준의 간단한 연산으로 구현돼 계산 비용이 낮다.

둘째, w를 적용한 새로운 통계 T_w(X) 는 Fast‑DetectGPT의 식(2)와 형태가 동일하지만, 로그 확률 대신 w(log q_t) 를 사용함으로써 인간·LLM 텍스트 간의 구분력을 크게 강화한다. 논문은 간단한 “두 토큰 언어” 예시를 통해 w가 적절히 선택될 경우 식(5)의 기대값 차이가 크게 증가해 검출 파워가 향상된다는 것을 이론적으로 증명한다.

셋째, 마르티게일 중심극한정리(MCLT)를 이용해 T_w 의 분포를 정규 근사한다. 이를 통해 거짓 부정률(FNR)을 사전에 지정한 α 수준으로 정확히 제어하는 임계값 τ 을 계산한다. 기존 방법은 경험적으로 임계값을 설정하거나 다수의 샘플링을 필요로 했지만, AdaDetectGPT는 MCLT 기반의 정규화로 단일 패시브 계산만으로도 신뢰성 있는 FNR 제어가 가능하다.

넷째, 이론적 분석 외에도 유한 표본에 대한 TPR, FPR, TNR, FNR 각각에 대한 확률적 상한을 제공한다. 특히 TNR 하한을 최적화 목표로 삼음으로써, 실제 검출 성능이 보장된다는 점이 기존 연구와 차별화된다.

실험에서는 SQuAD, WritingPrompts, XSum 등 다양한 데이터셋과 GPT‑Neo‑2.7B, GPT‑2‑XL, Llama 등 여러 LLM을 대상으로 백색‑박스(소스와 타깃 LLM 동일)와 흑색‑박스(소스와 타깃 LLM 다름) 설정을 모두 검증했다. 결과는 AdaDetectGPT가 Fast‑DetectGPT 대비 AUC 향상이 평균 12.5%에서 최대 37%에 이르며, 특히 흑색‑박스 상황에서도 20% 수준의 개선을 보였다. 또한, FNR을 0.05 수준으로 고정했을 때 TNR이 현저히 상승하는 것을 확인했다.

전체적으로 AdaDetectGPT는 통계 기반 탐지기의 효율성을 유지하면서, 머신러닝 기법을 통해 증인 함수를 학습함으로써 검출 파워와 이론적 보장을 동시에 달성한다는 점에서 의미가 크다. 향후 LLM이 더욱 고도화됨에 따라, 이러한 적응형·통계적 접근법은 실무 적용 가능성을 크게 확대할 것으로 기대된다.