다중비트 LLM 워터마킹을 위한 WorldCup 샘플링 프레임워크

초록

WorldCup은 토큰 샘플링 과정을 직접적인 통신 채널로 활용해, 계층적 토너먼트와 보완적인 g‑value 함수를 통해 다중비트 워터마크를 삽입한다. 엔트로피 기반 강도 조절과 신뢰도 가중 디코딩을 결합해 텍스트 품질·검출 정확도·복원 효율성 사이의 균형을 크게 향상시킨다.

상세 분석

본 논문은 기존의 “시드‑드리븐 스티어링” 방식이 메시지를 여러 단계에 걸쳐 변환함으로써 정보 손실과 용량 한계를 초래한다는 근본적인 문제를 지적한다. 이를 해결하기 위해 저자들은 샘플링 자체를 자연스러운 통신 채널로 재해석하고, 토큰 선택 과정에 직접 비트를 삽입하는 새로운 패러다임을 제시한다. 핵심 아이디어는 두 가지(또는 k가지) 보완적인 g‑value 함수 집합을 정의하고, 각 토큰 후보군을 다층 토너먼트 구조로 경쟁시켜 원하는 비트를 구현한다는 것이다.

1️⃣ 계층적 토너먼트 메커니즘: 각 레이어 ℓ에서 N개의 후보 토큰을 gℓ(x, r) 점수에 따라 승자‑진출 방식으로 정렬한다. 비트가 0이면 g0‑family, 1이면 g1‑family를 사용해 토큰을 선택한다. 이 과정은 벡터화된 샘플링으로 구현되어 연산 효율성을 확보한다.

2️⃣ 보완적 g‑value 설계: g0와 g1을 단순히 독립적인 난수 함수가 아니라 g1(x, r)=1−g0(x, r) 형태의 보완 관계로 정의한다. Bernoulli(0.5) 분포를 가정하면 두 함수는 완전한 반대 상관을 가지며, 이는 두 메시지 가설(0,1) 사이의 통계적 구분력을 최대화한다. 논문은 기대 제곱 차이 E