워터마크와 비워터마크 검출기의 하이브리드 결합으로 LLM 탐지 성능 극대화

초록

본 논문은 대형 언어 모델(LLM)의 생성 텍스트를 식별하기 위해 워터마크 기반 탐지와 비워터마크 기반 탐지를 결합한 하이브리드 방식을 제안한다. 엔트로피가 낮은 상황에서도 두 탐지기를 통합하면 검출 정확도가 크게 향상됨을 실험을 통해 입증한다.

상세 분석

이 연구는 첫 번째 파티(1P) 탐지 환경을 전제로 하면서도, 제3자 파티(3P) 탐지기를 보조적으로 활용한다는 점에서 차별화된다. 저자들은 워터마크 검출이 모델의 출력 엔트로피에 크게 의존한다는 기존 이론을 재조명하고, 엔트로피가 제한된 프롬프트(예: 사실 질의)에서는 워터마크 신호가 약해 검출 성능이 저하된다는 문제를 제기한다. 이를 해결하기 위해, 워터마크 점수와 RoBERTa 기반 AGC(Artificial‑Generated Content) 분류기의 확률 점수를 입력으로 하는 로지스틱 회귀 모델을 설계하였다. 실험 결과, 엔트로피가 낮은 20% 프롬프트에 대해 단일 워터마크 탐지기의 정확도가 75% 수준이었으나, 하이브리드 모델은 95%까지 끌어올렸다.

논문은 네 가지 워터마크 스킴(Aaronson, Bahri & Wieting, Kirchenbauer, Kuditipudi)을 구현하고, 각각의 검출 점수를 정규화·길이 보정한 뒤 비교한다. 특히 Bahri & Wieting의 블랙박스 왜곡‑프리 워터마크는 시퀀스 길이 k=1, m=1024, n=4 설정에서 가장 높은 ROC‑AUC를 보였으며, 길이 보정된 χ² 기반 점수(s_AC)와 결합했을 때 안정적인 성능을 유지한다.

비워터마크 탐지기로는 토큰‑레벨 로그우도와 랭크 특징을 이용한 전통적인 방법과, 사전학습된 RoBERTa 모델을 활용한 이진 분류기를 사용한다. 두 탐지기의 출력은 상호 보완적이며, 엔트로피가 높은 프롬프트에서는 워터마크 점수가 주도적인 역할을, 엔트로피가 낮은 경우에는 비워터마크 점수가 주도적인 역할을 한다는 점을 정량적으로 분석한다.

또한 저자들은 엔트로피 추정 방법을 제시한다. 프롬프트별로 4개의 샘플을 생성하고, 각 토큰 위치 i에서의 평균 엔트로피 H_i(x)를 계산해 전체 엔트로피 H(x)를 추정한다. 이 추정값을 기반으로 프롬프트를 엔트로피 구간별로 구분하고, 각 구간에서 하이브리드 모델의 ROC‑AUC를 측정함으로써 엔트로피와 검출 성능 간의 상관관계를 명확히 보여준다.

계산 비용 측면에서도 하이브리드 접근법은 효율적이다. 워터마크 점수는 단일 토큰 수준 연산으로 실시간 계산이 가능하고, 비워터마크 로지스틱 회귀는 경량 모델이므로 전체 파이프라인이 80GB GPU( A100/H100)에서 2,000 GPU‑hour 수준의 비용으로 수행되었다.

결론적으로, 이 논문은 엔트로피가 제한적인 실제 서비스 환경에서 워터마크만으로는 충분히 검출하기 어려운 문제를, 비워터마크 탐지와의 결합을 통해 해결할 수 있음을 실증한다. 또한, 다양한 워터마크 스킴과 비워터마크 모델을 조합하는 실용적인 알고리즘을 제시함으로써, LLM 생성 텍스트 탐지 시스템의 설계에 중요한 지침을 제공한다.