텍스트 보존 워터마크를 이용한 파인튜닝 LLM 데이터 출처 감사

초록

본 논문은 눈에 보이지 않는 유니코드 문자로 구성된 “cue‑reply” 쌍을 문서에 삽입해, 블랙박스 접근만 가능한 파인튜닝된 대형 언어 모델(LLM)에서 해당 문서가 학습에 사용됐는지 통계적으로 검증하는 시스템을 제안한다. 마크는 텍스트를 변형하지 않으며, 검증 단계에서는 cue만 포함된 프롬프트를 보내 reply가 재생산되는지를 확인한다. 보조적인 카운터팩추얼 마크와 순위 기반 검정으로 허위 양성률(FPR)을 사전에 정한 한계 이하로 제어한다. 실험을 통해 작은 비율의 마크된 데이터만 포함돼도 높은 탐지율을 달성함을 보인다.

상세 분석

이 연구는 데이터 출처 감사를 위한 새로운 워터마킹 프레임워크를 제시한다. 핵심 아이디어는 “보이지 않는” 유니코드 문자(Zero‑Width 등)를 이용해 텍스트에 눈에 띄지 않는 마크를 삽입하고, 이를 cue와 reply 두 부분으로 나누어 각각 문서의 서로 다른 위치에 배치한다는 점이다. cue는 프롬프트에 직접 사용되며, 모델이 학습 과정에서 cue와 연결된 reply를 기억하도록 유도한다.

1. 워터마크 설계

   • 알파벳 A는 렌더링되지 않는 문자 집합이며, m개의 문자로 이루어진 syllable을 기본 단위로 삼는다.
   • 하나의 워터마크 w는 n개의 syllable로 구성되며, 앞쪽 j개의 syllable은 cue, 나머지는 reply로 정의된다.
   • cue와 reply 사이에 겹치는 tail(t syllable) 구간을 두어, cue의 마지막 부분과 reply가 연속적으로 나타나도록 설계함으로써 모델이 cue‑tail‑reply 순서를 학습하도록 만든다.

2. 고유성 및 충돌 방지

   • 모든 cue‑reply 쌍은 일대일 대응을 보장하도록 제약(2)을 두어, 서로 다른 워터마크가 동일한 cue 혹은 reply를 공유하지 않게 한다.
   • 수학적 분석을 통해 워터마크 공간 |W|가 |A|^{mj/2} 이상임을 증명, 이는 실질적인 대규모 사용자·문서 환경에서도 충돌 위험이 무시할 수준임을 의미한다.

3. 워터마크 할당 및 카운터팩추얼

   • 신뢰할 수 있는 중앙 엔터티가 전체 워터마크 풀에서 K개의 워터마크 집합 W_K를 무작위로 추출하고, 사용자는 그 중 하나를 실제 문서에 삽입한다.
   • 나머지 K‑1개는 검증 단계에서 카운터팩추얼로 활용되어, 순위 기반 검정(rank‑test)에서 허위 양성률을 이론적으로 k/K 이하로 제한한다.

4. 임베딩 메커니즘

   • 문서는 일정 길이 δ의 서브문서로 분할되고, 홀수 인덱스 서브문서에 cue(마지막 tail 제외)를, 짝수 인덱스 서브문서에 tail+reply를 삽입한다.
   • 삽입은 단어 사이에 일정 간격(step)마다 순환적으로 이루어지며, 원본 단어 순서는 전혀 변하지 않는다. 따라서 텍스트 가독성·형식이 보존된다.

5. 검증 절차

   • 각 cue‑chunk와 이어지는 reply‑chunk를 결합해 프롬프트 I_{D,w,i}를 만든 뒤, 모델에 λ번 질의한다.
   • 어느 한 번이라도 reply가 출력에 나타나면 해당 chunk는 “hit”으로 간주하고, 문서·컬렉션 수준 점수는 hit 수의 합으로 정의한다.
   • 최종 결정은 실제 사용된 워터마크의 점수를 카운터팩추얼 점수와 비교해 순위가 k 이상이면 membership을 선언한다.

6. 통계적 보증

   • 순위 검정은 “uniform sampling” 가정 하에 FPR ≤ k/K 를 보장한다.
   • 완전성(Completeness)은 per‑chunk hit 확률 p와 λ, X(독립 chunk 수)를 통해 (1‑p)^{λX} 형태로 계산되며, 실험을 통해 p≈0.3~0.5 수준을 관측, 적절한 λ와 X 선택으로 실용적인 오류 예산을 맞출 수 있다.

7. 실험 결과

   • Mistral‑7B, DeepSeek‑R1, GPT‑4o 등 다양한 오픈소스·클라우드 모델에 대해 0.5%~5% 비율의 마크된 데이터만 포함돼도 평균 TPR이 85% 이상이었다.
   • FPR은 k/K 설정에 따라 0%~0.5% 수준으로 유지되었으며, 다중 워터마크가 동시에 삽입된 경우에도 상호 간섭이 미미함을 확인했다.
   • 일반적인 데이터 파이프라인(C4, The Pile, RedPajama 등)과 토크나이저 10종에 대해 마크가 손실되지 않으며, ChatGPT·Le Chat·DeepSeek 등 안전 필터에도 차단되지 않았다.

8. 제한점 및 향후 과제

   • 현재는 비악의적 변환에 대한 강인성을 입증했지만, 의도적인 문자 삭제·재배열 공격에는 취약할 수 있다.
   • 워터마크 길이와 삽입 빈도 간의 트레이드오프가 존재해, 너무 짧은 cue는 기억률이 낮고, 너무 긴 cue는 문서 크기를 부풀릴 위험이 있다.
   • 실시간 서비스에서 대규모 프롬프트 비용(λ·X) 최적화와, 다중 권리자 간 충돌 관리가 추가 연구 과제로 남는다.

전반적으로 이 논문은 텍스트 보존성을 유지하면서도 블랙박스 LLM에 대한 데이터 출처 감사를 가능하게 하는 실용적인 방법론을 제시하고, 통계적 보증과 광범위한 실험을 통해 그 타당성을 입증한다.