대형 언어 모델을 위한 검증 가능한 모델 출처 집합

초록

본 논문은 대형 언어 모델(LLM)의 출처를 식별하기 위해, 기존의 휴리스틱 기반 방법이 갖는 오류 통제 부재와 다중 출처 탐지 한계를 극복하고자 한다. 저자들은 모델 출처 문제를 통계적 가설 검정 프레임워크로 공식화하고, 순차적 테스트‑배제 절차를 이용해 ‘모델 출처 집합(Model Provenance Set, MPS)’을 구성한다. MPS는 지정된 신뢰 수준 α 하에 모든 실제 출처 모델을 포함함을 보장하면서, 후보 집합을 최소화한다. 실험에서는 455개의 Hugging Face LLM을 대상으로 다양한 거리 측정법을 적용해 MPS가 높은 커버리지와 작은 집합 크기를 동시에 달성함을 입증한다.

상세 분석

본 연구는 모델 출처 분석을 “모델‑집합 식별” 문제로 재정의하고, 통계적 오류 제어를 명시적으로 도입한 점이 가장 큰 혁신이다. 기존 문헌은 주로 임계값 기반 유사도 매칭이나 사전 학습된 분류기를 활용했으며, 이러한 방법들은 거짓 양성·거짓 음성에 대한 확률적 한계를 제공하지 못했다. 저자들은 먼저 목표 모델 g 와 후보 모델 집합 M 에 대해 평균 거리 µ_i 를 정의하고, 진정한 출처 집합 M* 을 “µ_i가 다른 모델보다 유의하게 작다”는 통계적 특성으로 표현한다.

핵심 알고리즘인 MPS는 두 단계로 구성된다. 첫 번째는 “상대 거리” d_ij,t = L_i,t − L_j,t 를 이용해 각 후보 모델의 평균 상대 편차 \bar d_i· 를 계산하고, 이를 기반으로 학생화 t‑통계량 t_i = \bar d_i· / cvar(\bar d_i·) 를 구한다. 두 번째는 전체 후보 집합에 대해 최소 t‑값 T_min = min_i t_i 를 선택하고, 이를 퍼뮤테이션 검정으로 평가한다. 퍼뮤테이션 과정에서 각 프롬프트에 대한 거리 벡터 L·,t 를 무작위로 섞어 R 번 반복함으로써, “모든 모델이 동일한 기대 거리를 가진다”는 영가설 H0 하의 분포를 근사한다. p‑값이 사전 정의된 유의수준 α 보다 작으면 영가설을 기각하고, 가장 작은 t‑값을 가진 모델을 출처 후보로 확정한 뒤 후보 집합에서 제외한다. 이 과정을 남은 모델들이 더 이상 통계적으로 구별되지 않을 때까지 반복한다.

이론적 측면에서 저자들은 세 가지 정리를 제시한다. 정리 3.1은 퍼뮤테이션 기반 p‑값이 영가설 하에서 비편향임을 보이며, 정리 3.2는 알고리즘이 α 수준에서 M* ⊆ \hat M 을 만족하는 커버리지 보장을 제공함을 증명한다. 정리 3.3은 실제 출처와 비출처 사이에 충분히 큰 거리 차이(갭 δ)가 존재할 경우, MPS가 정확히 M* 을 복원할 확률이 1 − O(exp(−cNδ²)) 으로 급격히 수렴함을 보여준다. 이는 표본 수 N 이 증가함에 따라 탐지 능력이 통계적 최적 속도 O(N^{-1/2}) 에 도달한다는 의미다.

실험에서는 455개의 LLM을 135 M ~ 3 B 파라미터 규모와 최대 3단계 파생 관계를 갖는 데이터셋으로 구성했다. 거리 측정으로는 의미론적 임베딩 기반 ‘Semantic‑MPS’와 토큰‑레벨 차이 기반 ‘Token‑MPS’를 각각 적용했으며, 후보 집합 크기 |M| 를 10에서 100까지 다양화했다. 결과는 두 방법 모두 α = 0.05 조건에서 실제 출처 모델을 96 % 이상 포함하면서 평균 집합 크기를 2.1 ~ 2.3으로 유지함을 보여준다. 또한, 유의수준 α 를 완화하거나 프롬프트 수 N 을 늘릴 경우 커버리지는 거의 변하지 않지만, 집합 크기가 약간 증가하는 경향을 확인했다.

이 논문의 주요 기여는 (1) 모델 출처 문제를 통계적 가설 검정으로 공식화함으로써 오류율을 명시적으로 제어할 수 있게 한 점, (2) 기존 휴리스틱 방법과 달리 다중 출처 상황에서도 모든 진정한 출처를 포함하는 최소 집합을 효율적으로 구성하는 MPS 알고리즘을 제시한 점, (3) 다양한 거리 측정법과 실제 LLM 베이스라인에 적용 가능하도록 설계된 ‘fingerprint‑agnostic’ 특성을 갖춘 점이다. 이러한 특성은 모델 지식재산 보호, 무단 파생 모델 탐지, 그리고 법적 분쟁에서의 증거 제시 등 실무적 활용 가능성을 크게 확대한다.