기계 생성 텍스트 탐지를 위한 마코프 기반 점수 보정 기법

초록

본 논문은 토큰 수준 탐지 점수가 LLM의 생성 과정에서 발생하는 무작위성에 의해 편향되는 문제를 지적하고, 인접 토큰 간 유사성(Neighbor Similarity)과 초기 토큰의 불안정성(Initial Instability)이라는 두 가지 관계를 이론·실험적으로 밝혀낸다. 이를 마코프 랜덤 필드(MRF)로 모델링하고 평균장(mean‑field) 근사를 이용해 경량 보정 모듈을 설계함으로써 기존 메트릭 기반 탐지기와 손쉽게 결합한다. 다양한 교차‑LLM, 도메인 전이, 패러프레이징 공격 실험에서 기존 방법 대비 유의미한 성능 향상을 보이며, 연산 비용은 거의 증가하지 않는다.

상세 분석

논문은 먼저 기존 메트릭 기반 탐지기들을 Log‑Likelihood, Log‑Rank, Entropy, DetectGPT, Fast‑DetectGPT, DNA‑GPT 등으로 분류하고, 이들이 모두 토큰‑레벨 점수를 임계값 기반으로 직접 합산한다는 공통점을 갖는다는 점을 강조한다. 이러한 설계는 LLM이 토큰을 샘플링할 때 발생하는 확률적 변동성을 무시하게 만들며, 특히 초기 토큰에서 점수의 분산이 크게 증가해 전체 탐지 정확도를 저하시킨다. 저자들은 단일‑층 트랜스포머 모델을 수학적으로 분석하여, 어텐션 스코어가 이전 단계의 스코어에 의해 제한되는 형태의 상·하한을 도출한다(정리 1). 이로부터 두 가지 핵심 현상을 이론적으로 예측한다. 첫째, 인접 토큰 간 어텐션(따라서 탐지 점수) 변화가 완만해 ‘Neighbor Similarity’가 존재한다는 것; 둘째, 초기 단계에서는 어텐션 스코어의 상·하한이 넓어 ‘Initial Instability’가 나타난다. 실험적으로는 점수 차이의 평균 절대값을 hop 거리와 위치별로 측정해, 인접 토큰이 가장 유사하고 텍스트 앞부분에서 차이가 크게 나타나는 것을 확인한다. 이러한 관찰을 바탕으로 저자들은 각 토큰을 이진 라벨(인간/기계)로 보는 마코프 랜덤 필드(pMRF)를 정의하고, 인접 토큰 간 유사성을 페어와이즈 포텐셜로, 초기 불안정성을 위치‑가중 포텐셜로 설계한다. 평균장 근사를 적용해 반복적인 선형 레이어와 시그모이드 활성으로 구성된 경량 네트워크를 구현함으로써, 기존 탐지기의 토큰 점수를 입력받아 보정된 점수를 출력한다. 이 보정 모듈은 파라미터 수가 2×2에 불과해 연산 오버헤드가 미미하고, 학습 없이도 평균장 업데이트만으로 적용 가능하다. 다양한 실험 설정(교차‑LLM, 도메인 전이, 혼합 텍스트, 패러프레이징 공격)에서 보정 전후의 AUROC, F1 점수를 비교한 결과, 평균 3~7%p의 성능 향상이 관찰되었으며, 특히 초기 토큰이 많은 짧은 문장이나 프롬프트 기반 생성물에서 효과가 두드러졌다. 전체적으로 이 논문은 토큰‑레벨 점수의 구조적 특성을 정량화하고, 이를 MRF 기반 보정으로 활용함으로써 메트릭 기반 탐지기의 한계를 효과적으로 극복한다는 점에서 의미가 크다.