역증류 지문 기술: 품질 손상 없이 증류 탐지를 가능하게 하는 새로운 방법

초록

본 논문은 대형 언어 모델(LLM)에서 파생된 학생 모델이 교사 모델의 출력으로부터 학습했는지를 탐지하기 위한 ‘역증류 지문(ADFP)’ 기법을 제안한다. 기존의 적색‑녹색 리스트 워터마크는 교사의 출력에 무작위 편향을 주어 학생이 이를 흡수하도록 유도하지만, 품질 저하와 지문 강도 사이에 큰 트레이드오프가 존재한다. ADFP는 프록시 모델을 이용해 학생 모델의 미세조정 과정에서 녹색 토큰의 기대 발생 확률을 직접 최대화하는 토큰을 선택·샘플링함으로써, 품질 손실을 최소화하면서도 탐지 신뢰도를 크게 향상시킨다. GSM8K와 OASST1 벤치마크 실험에서 기존 방법 대비 파레토 개선을 달성하였다.

상세 분석

ADFP는 기존 적색‑녹색 리스트 워터마크가 “학생 모델이 교사의 출력에 포함된 편향을 우연히 학습한다”는 가정에 머무르는 점을 비판한다. 대신, 학생 모델이 실제로 파인튜닝 과정에서 어떤 토큰을 학습하게 되는지를 정량적으로 예측하고, 그 토큰이 녹색 리스트에 포함될 확률을 직접 높이는 방향으로 로그잇을 조정한다. 핵심 아이디어는 두 단계로 구성된다. 첫째, 프록시 모델 θₚ를 설정해 현재 컨텍스트에서 각 토큰의 사후 확률 q(t|x) 를 계산한다. 둘째, 녹색 리스트 S 에 속하는 토큰에 대해 qₜ 가 클수록 로그잇에 더 큰 양의 편향 Δ_ADS(t)=qₜ·(I