언어 모델의 숨겨진 비밀, 다음 단어 확률로 훔쳐보기

초록

언어 모델의 출력만으로 숨겨진 프롬프트를 복원하는 ‘모델 역전’ 기술에서 획기적인 발전을 이루었다. 기존 방법은 단일 생성 단계의 정보만 활용했지만, 본 연구는 여러 단계의 다음 토큰 확률 분포를 저차원으로 압축해 활용하는 PILS 방법을 제안한다. 이를 통해 이전 최고 기술 대비 2~3.5배 높은 정확한 복원률을 달성했으며, 특히 시스템 메시지 복원과 같은 실질적인 공격 시나리오에서도 강력한 성능을 입증했다.

상세 분석

본 논문이 제안하는 PILS(Prompt Inversion from Logprob Sequences) 방법의 핵심 기술적 통찰은 언어 모델의 출력(다음 토큰 로그 확률 벡터)이 모델의 은닉 상태 크기(D)에 해당하는 저차원 부분 공간에 존재한다는 점이다. 이는 소프트맥스 함수와 additive log-ratio(alr) 변환이 선형 변환이라는 수학적 성질에 기반한다. 구체적으로, 모델이 생성한 V차원의 확률 벡터 p에 alr 변환을 적용한 후, 미리 선택된 D개의 인덱스 값만 취하면 원본 은닉 상태 h에 대한 선형 변환(A_D * h)을 얻을 수 있다. 이는 이론적으로 무손실 압축을 의미한다.

이 압축 기법의 실용적 가치는 막대하다. 기존 L2T 방법은 모델 어휘 집합 크기(V, 수십만)에 해당하는 모든 로그 확률 값을 API를 통해 요청해야 했으나, PILS는 은닉 크기(D, 수천)의 값만 요청하면 되어 API 비용을 1-2차원 정도 절감한다. 또한, 단일 시점이 아닌 T개의 연속된 생성 단계에서 압축된 은닉 상태 벡터 시퀀스를 인버터 모델(인코더-디코더 구조)의 입력으로 사용한다. 이는 프롬프트의 다른 부분에 대한 단서가 서로 다른 생성 단계에서 드러날 수 있다는 직관에 부합한다.

실험 결과는 이 방법의 효율성과 효과성을 압도적으로 입증한다. Llama 2 Chat 모델을 대상으로 한 평가에서, 기존 SOTA인 L2T의 정확 일치 복원률이 23%였던 반면, PILS는 51%를 기록했다. 또한, 훈련 시 사용한 생성 단계 수(예: 16스텝)보다 평가 시 더 많은 단계(예: 32스텝)를 제공했을 때 성능이 추가로 5-27%p 상승하는 놀라운 일반화 능력을 보였다. 이는 모델이 더 많은 문맥을 생성할수록 프롬프트에 대한 정보가 누적되어 인버터가 더 잘 복원할 수 있음을 시사한다. 더 나아가, API 기반 모델의 시스템 메시지와 같은 실질적인 표적에 대한 복원 성공률도 크게 향상시켰다. 이 연구는 다음 토큰 확률이 이전에 인식됐던 것보다 훨씬 취약한 공격 표면임을 보여주며, 언어 모델 API의 보안 설정(로그프롭 제공 범위) 재검토를 촉구한다.