프라이버시 기반 저비용 검증 가능한 LLM 추론

초록

본 논문은 프라이버시 보호 LLM 추론 기법을 활용해 검증 가능한 추론을 저렴한 비용으로 구현하는 두 가지 프로토콜을 제안한다. 사용자와 제공자 사이에 센티넬 토큰과 변형된 어텐션 마스크를 삽입해 로그잇을 모델 고유의 ‘지문’으로 활용함으로써, 검증자는 사전 구축된 캐시와 비교해 모델 교체 공격을 방지한다. 실험 결과는 로그잇 지문이 모델마다 충분히 구별되며, SMPC 기반 구현이 기존 ZK 증명 대비 15배 빠른 검증 속도를 제공함을 보여준다.

상세 분석

이 연구는 대규모 언어 모델(LLM)의 추론을 제3자 서비스에 위임할 때 발생하는 두 가지 핵심 문제—프라이버시 유출과 결과 위조—를 하나의 프레임워크로 동시에 해결한다는 점에서 혁신적이다. 기존의 검증 가능한 추론은 영지식증명(ZKP)과 같은 암호학적 기법에 의존했지만, 모델 규모가 커질수록 증명 생성·검증 비용이 급증해 실용성이 떨어졌다. 반면, 최근 급부상한 프라이버시 보호 추론(SMPC, FHE, TEE 등)은 입력 데이터를 암호화하거나 다중 파티 간에 분산 계산함으로써 사용자의 프롬프트를 노출하지 않는다. 논문은 이러한 프라이버시 메커니즘이 이미 “숨김”을 제공한다는 점을 이용해, 검증용 비밀을 저비용으로 삽입할 수 있음을 보여준다.

프로토콜 1인 “Logit Fingerprinting”은 다음과 같은 절차로 구성된다. 첫째, 사용자는 원본 토큰 시퀀스에 K개의 센티넬 토큰을 무작위 위치에 삽입한다. 이때 센티넬 토큰은 공개 캐시 C에 미리 저장된 토큰 시퀀스 중 하나를 선택한다. 둘째, 어텐션 마스크를 변형해 센티넬 토큰끼리는 정상적인 자기‑회귀(attention) 흐름을 유지하되, 원본 토큰과는 상호작용하지 않도록 만든다. 이렇게 하면 센티넬 토큰의 로그잇은 원본 텍스트에 전혀 영향을 미치지 않으며, 동시에 모델이 실제로 실행된 위치와 토큰을 외부에 노출하지 않는다. 셋째, 변형된 입력과 마스크를 프라이버시 보호 프로토콜(예: SMPC 기반 SIGMA) 아래에서 제공자에게 전달한다. 제공자는 전체 시퀀스에 대한 로그잇을 반환하지만, 센티넬 위치와 토큰은 암호화된 상태이므로 추론자는 이를 알 수 없다. 마지막으로 사용자는 반환된 로그잇을 사전에 계산된 캐시와 비교한다. 로그잇 자체가 모델 고유의 ‘지문’ 역할을 하므로, 동일 모델이 아닌 경우(예: 저사양 모델 교체, 저랭크 근사, 8‑bit 양자화 등) 로그잇 차이가 크게 나타나 검증에 실패한다.

보안 분석에서는 두 가지 공격 벡터를 고려한다. 첫째, 확률적 공격으로, 공격자는 캐시 크기 |C|와 센티넬 위치를 맞출 확률을 계산한다. |C|를 충분히 크게 잡으면 성공 확률은 실질적으로 무시할 수준이 된다. 둘째, 근사 공격으로, 공격자는 모델을 축소하거나 저랭크 근사, 양자화 등을 적용해 연산량을 줄이려 한다. 실험에서는 Llama와 Qwen 계열 모델에 대해 다양한 근사 방법을 적용했을 때 로그잇 L1 거리가 최소 수천에서 수십만에 이르며, 원본 모델과 명확히 구분됨을 확인했다. 또한, GPU 부동소수점 비결정성에 의한 로그잇 변동은 최대 L1 10.9 수준으로, 검증 임계값보다 훨씬 작다.

성능 측면에서는 SMPC 기반 SIGMA 구현이 Llama‑2‑7B에 대해 기존 ZK 프로토콜 대비 약 15배 빠른 검증 시간을 기록했다. 추가 토큰 K가 3~5 정도이면 원본 프롬프트 길이 N에 비해 연산량이 K·N 수준에 불과해 실시간 서비스에 큰 영향을 주지 않는다. 캐시 구축 비용은 일회성이며, 신뢰할 수 있는 엔티티가 ZK 증명을 통해 캐시의 정당성을 보증하면 전체 시스템의 신뢰성을 유지할 수 있다.

이 논문은 프라이버시와 검증이라는 두 축을 동시에 만족시키는 새로운 설계 패러다임을 제시한다. 다만, 완전한 영지식 보장을 제공하지는 않으며, 프라이버시 메커니즘 자체가 안전하다는 전제에 크게 의존한다는 점이 한계로 남는다. 향후 연구에서는 보다 강력한 위조 방지 메커니즘과, 다중 단계 검증(예: 로그잇 외에 중간 활성값 검증) 등을 결합해 보안성을 한층 강화할 여지가 있다.