워터마크 탐지를 위한 적합도 검정의 실험적 힘

초록

본 논문은 텍스트 워터마크 검출에 고전적인 적합도 검정(Goodness‑of‑Fit) 방법을 적용하고, 8가지 검정법을 3가지 워터마크 스킴, 3개 오픈소스 LLM, 2개 데이터셋, 다양한 온도와 편집 상황에서 체계적으로 평가한다. 실험 결과, 적합도 검정이 기존 검출기보다 높은 검출력과 온도·편집에 대한 강인성을 보이며, 특히 저온도에서 나타나는 텍스트 반복 현상을 효과적으로 활용한다는 점을 밝혀냈다.

상세 분석

이 연구는 워터마크 검출을 통계적 가설 검정, 특히 “i.i.d. 샘플이 알려진 분포 µ₀를 따르는가”를 검증하는 적합도 검정 문제와 동일시한다는 핵심 통찰에서 출발한다. 기존 워터마크 검출 방법은 피벗 통계 Yₜ가 인간 텍스트에서는 µ₀에 따라 i.i.d.이지만, 워터마크가 삽입된 경우에는 Pₜ(다음 토큰 예측 분포)에 의존해 µ₁,ₚₜ로 변한다는 점을 이용한다. 저자는 이 구조를 이용해 8가지 고전 검정(Kolmogorov‑Smirnov, Anderson‑Darling, Cramér‑von Mises, Watson, Kuiper, Truncated‑Φ‑divergence, Neyman smooth, χ²) 을 그대로 적용할 수 있음을 보인다.

실험 설계는 세 가지 워터마크( Gumbel‑max, Inverse‑Transform, SynthID) 각각에 대해 µ₀가 명시적으로 알려져 있어 검정 통계량을 직접 계산한다. 모델은 OPT‑1.3B, OPT‑13B, Llama‑3.1‑8B를 사용하고, 온도 0.1, 0.3, 0.7, 1.0을 변동시켜 텍스트 다양성을 조절한다. 데이터는 C4(텍스트 완성)와 ELI5(장문 질문‑답변) 두 종류를 사용했으며, 각 경우 1,000개의 샘플을 생성한다. 또한 삭제·대체 편집과 정보가 풍부한 인간 편집을 적용해 검출기의 견고성을 평가한다.

핵심 결과는 다음과 같다. (1) 모든 온도와 텍스트 길이에서 적합도 검정이 기존 검출 규칙(예: 로그우도비 혹은 단순 카운트)보다 높은 AUC를 기록했다. 특히 온도 0.1과 0.3처럼 낮은 온도에서는 텍스트 반복이 발생해 Yₜ의 경험적 CDF가 µ₀와 크게 차이 나며, Kolmogorov‑Smirnov·Kuiper와 같은 최대 차 검정이 큰 효과를 보였다. (2) 높은 온도에서는 Pₜ의 엔트로피가 증가해 워터마크 신호가 강화되고, 이때는 Truncated‑Φ‑divergence와 Anderson‑Darling 같은 전체 분포 차이를 측정하는 검정이 우수했다. (3) 인간 편집(삭제·대체) 후에도 대부분의 검정이 0.8 이상 높은 검출력을 유지했으며, 특히 Watson·Neyman smooth 검정은 위치 변동에 강인해 편집에 대한 내성이 뛰어났다. (4) 기존의 green‑red 리스트 워터마크는 피벗이 이진이므로 적합도 검정이 별다른 이득을 주지 못한다는 부수적 결론도 제시한다.

이러한 분석을 통해 저자는 적합도 검정이 워터마크 검출에 있어 “신호‑노이즈” 구조를 포괄적으로 포착하는 일반화된 프레임워크임을 입증한다. 또한, 검정 선택이 온도·텍스트 특성에 따라 달라질 수 있음을 강조해, 실제 시스템에서는 다중 검정을 앙상블하거나 상황에 맞는 검정을 동적으로 선택하는 전략을 제안한다.