RLVR 훈련 데이터 탐지를 위한 구조적 수렴 분석과 Min‑k NN 거리 검출기

초록

본 논문은 강화학습 기반 검증 보상(RLVR)으로 미세조정된 추론 모델이 훈련 중 본 적이 있는 프롬프트에 대해 생성 결과가 급격히 수렴하고 다양성이 감소한다는 행동적 특성을 발견한다. 이를 활용해 여러 완성을 샘플링하고 편집 거리의 k번째 최소값 평균을 계산하는 Min‑k NN Distance라는 블랙박스 탐지기를 제안한다. 실험을 통해 이 방법이 기존 멤버십 추론 및 오염 탐지 기법보다 높은 정확도로 RLVR 훈련 데이터를 식별함을 입증한다.

상세 분석

본 연구는 RLVR(Verification‑based Reinforcement Learning) 방식이 기존 사전학습이나 지도‑미세조정과 달리 토큰‑레벨 확률을 최적화하지 않고, 자체 생성한 체인‑오브‑생각(Chain‑of‑Thought, CoT) 경로에 보상을 부여한다는 점에 주목한다. 이러한 학습 메커니즘은 모델이 특정 프롬프트에 대해 정답을 얻는 경로를 반복적으로 강화함으로써, 해당 프롬프트에 대한 출력 공간을 점차 좁힌다. 저자들은 세 가지 독립적인 다양성 지표—Lexical Diversity(EAD), Logical Diversity(NLI 기반), Semantic Diversity(임베딩 기반 코사인 유사도)—를 사용해 300개의 훈련 프롬프트에 대해 32개의 완성을 샘플링하고, 훈련 단계별 변화를 정량화하였다. 결과는 DAPO와 GRPO 두 RL 알고리즘 모두에서 모든 지표가 지속적으로 감소함을 보여준다. 특히 3‑gram 분석을 통해 ‘문제 재진술’, ‘보일러플레이트 연결구’, ‘상징·대수 논리 단계’라는 세 종류의 빈번한 구절이 등장함을 확인했으며, 훈련이 진행될수록 후자, 즉 핵심 논리 구절이 고정된 형태로 반복되는 경향이 강해졌다.

클러스터링 실험에서는 논리적 3‑gram을 기반으로 계층적 군집화를 수행했을 때, 대부분의 프롬프트가 2~4개의 제한된 구조적 모드에 수렴한다는 사실을 발견했다. 이는 모델이 단일 결정적 경로가 아니라, 소수의 ‘표준화된’ 추론 패턴으로 압축된다는 의미이다. 이러한 구조적 수렴은 훈련 데이터와 비훈련 데이터 사이에 명확한 차이를 만든다. 훈련에 노출된 프롬프트는 3‑gram 카테고리(특히 상징 논리 구절)와 클러스터 수에서 비노출 프롬프트보다 더 높은 집중도를 보이며, 이는 ‘rigidity’가 데이터 노출 여부를 가늠할 수 있는 신호임을 시사한다.

이를 기반으로 제안된 Min‑k NN Distance는 프롬프트당 m개의 완성을 샘플링하고, 모든 쌍 간 편집 거리를 계산한 뒤 k개의 최소 거리를 평균한다. 훈련에 노출된 프롬프트는 동일한 구조적 모드에 몰리기 때문에 평균 거리가 작게 나오고, 비노출 프롬프트는 다양한 구조를 포함하므로 평균 거리가 크게 나타난다. 중요한 점은 이 방법이 모델의 로그‑확률이나 내부 파라미터에 접근할 필요 없이 순수히 샘플링된 텍스트만으로 동작한다는 것이다.

실험에서는 Qwen‑2.5‑7B‑Base를 기반으로 DAPO와 GRPO 두 RLVR 알고리즘을 적용한 여러 변형 모델을 대상으로, 다양한 디코딩 설정(temperature, top‑p), 파라프레이징, 지식 증류 상황에서도 일관된 탐지 성능을 보였다. 기존 멤버십 추론 기법(예: LiRA, Shadow‑Model 기반 방법)과 비교했을 때, AUC와 정확도 모두 5~10%p 이상 우수했으며, 특히 고차원 논리 문제에서 그 차이가 두드러졌다.

결론적으로, RLVR 훈련은 추론 구조를 ‘압축’하고 ‘경직’시키는 특성을 갖으며, 이는 블랙박스 환경에서도 탐지 가능한 신호가 된다. Min‑k NN Distance는 이러한 신호를 정량화하는 간단하면서도 강력한 도구로, 향후 오픈‑소스 RLVR 모델의 벤치마크 오염 여부를 검증하는 표준 방법으로 활용될 가능성이 크다.