SynthID 텍스트 구글 LLM 워터마크 이론과 실험

초록

본 논문은 구글이 발표한 SynthID‑Text LLM 워터마크 시스템을 이론적으로 분석하고, 평균 점수와 베이지안 점수 두 가지 검출 함수의 탐지 성능을 층 수와 g‑값 분포에 따라 정량화한다. 평균 점수는 층이 늘어날수록 탐지율이 한 번 상승 후 감소하는 단일극형(unimodal) 특성을 보이며, 이를 이용한 ‘층 인플레이션’ 공격이 가능함을 보인다. 반면 베이지안 점수는 층이 증가함에 따라 탐지율이 비감소적으로 향상되고, 최적의 g‑값 분포는 Bernoulli(0.5)임을 증명한다. 실험 결과는 이론과 일치한다.

상세 분석

SynthID‑Text는 LLM 토큰 생성 단계에서 ‘토너먼트 샘플링’이라는 다계층 경쟁 메커니즘을 도입해 워터마크를 삽입한다. 각 층 ℓ은 시드 rₜ에 의해 결정된 의사난수 gₗ(xₜ, rₜ) 값을 모든 후보 토큰에 부여하고, 짝을 이루어 높은 g값을 가진 토큰이 다음 라운드로 진출한다. 최종 승자는 실제 출력 토큰이 된다. 이 과정에서 g‑값은 Bernoulli(0.5) 혹은 Uniform(0,1) 분포를 따르며, 토너먼트 구조 자체가 토큰 선택에 미세한 편향을 주어 검출 가능성을 높인다.

검출 단계에서는 두 가지 점수 함수를 사용한다. 평균 점수(MS)는 모든 토큰·층의 g값 평균을 취하며, 워터마크가 존재하면 기대값이 0.5보다 크게 된다. 베이지안 점수(BS)는 워터마크 존재 여부에 대한 사후 확률을 로그 오즈에 시그모이드 함수를 적용해 0‑1 사이 값으로 변환한다. 이때 필요되는 likelihood는 토너먼트의 충돌 확률 Cₗ,ₜ와 g‑값 분포 f_g를 이용해 정식화된다.

이론적 분석은 중앙극한정리(CLT)를 활용해 MS와 BS의 분포를 정규근사하고, 특정 FPR(예: 1%)에 대한 기대 TPR을 폐쇄형식으로 도출한다. 주요 결과는 다음과 같다.

1. MS의 탐지율은 층 수에 대해 단일극형이다. 층이 증가하면 TPR이 처음엔 상승하지만, 일정 수준을 넘으면 감소해 결국 FPR에 수렴한다. 이는 g‑값이 독립적으로 섞이면서 평균이 0.5에 수렴하기 때문이다.

2. BS는 층 수에 대해 비감소(monotonically non‑decreasing) 특성을 보인다. 층이 늘어날수록 로그 오즈가 누적돼 탐지율이 개선되며, 일정 층을 초과하면 포화 현상이 나타난다. 다만 BS 계산은 모든 토큰·층의 g값을 이용해 복합적인 likelihood를 평가해야 하므로 계산 비용이 MS보다 크게 증가한다.

3. **최적의 g‑값 분포는 Bernoulli(0.5)**이다. 이 경우 워터마크와 비워터마크 사이의 평균 차이가 최대가 되며, 변동성도 최소화돼 탐지 ROC 곡선이 가장 우수하게 된다.

이론적 예측을 검증하기 위해 저자들은 Gemini 기반 Gemma‑7B 모델로 1,500개의 워터마크 텍스트와 10,000개의 비워터마크 텍스트를 생성했다. 30층 토너먼트와 Bernoulli(0.5) g‑값, BS를 사용했을 때 FPR=1%에서 TPR=85%를 기록했으며, 이는 기존 최첨단(SOTA) 방법의 73%를 크게 앞선다. 또한 ‘층 인플레이션 공격’ 실험에서는 워터마크가 평균 점수 기반인 경우 인위적으로 층을 추가해 탐지율을 1% 이하로 떨어뜨렸다. 반면 BS 기반 시스템은 층 추가에 거의 영향을 받지 않아 공격에 강인함을 확인했다.

이러한 결과는 워터마크 설계 시 점수 함수 선택이 보안성에 결정적임을 시사한다. 평균 점수는 구현이 간단하고 연산 비용이 낮지만, 층 수에 민감해 공격 표면이 넓다. 베이지안 점수는 비용이 크지만, 층 수가 늘어날수록 탐지 강도가 유지돼 실무 적용 시 트레이드오프를 고려해야 한다.

마지막으로 논문은 현재 SynthID‑Text가 사용하고 있는 Bernoulli(0.5) 파라미터가 이론적으로 최적임을 증명함으로써, 향후 파라미터 튜닝이 필요 없음을 강조한다. 또한 토너먼트 구조 자체가 비선형적이므로, g‑값을 조작하거나 토큰 후보 집합을 제한하는 공격에 대한 추가 방어 메커니즘이 연구될 여지를 남긴다.