추측 디코딩이 만든 비밀 채널: 토큰 수 변동으로 사용자 질의와 데이터 유출 탐지

초록

LLM 서비스에서 추측 디코딩을 사용할 때, 올바른·잘못된 추측 토큰의 개수가 입력에 따라 달라진다. 이 패턴을 패킷 크기나 반복당 토큰 수로 관찰하면 네트워크 공격자는 사용자 질의를 75 % 이상, 온도 1.0에서도 20 % 이상 정확도로 식별하고, 비밀 데이터스토어를 초당 25 토큰 이상 유출할 수 있다. 논문은 패킷 패딩·토큰 집계 등 2가지 방어책을 제안하고 비용‑효과를 평가한다.

상세 분석

본 논문은 최근 상용 LLM 서비스에 널리 도입되고 있는 ‘추측 디코딩(Speculative Decoding)’ 메커니즘이 새로운 사이드채널 위협을 야기한다는 점을 최초로 규명한다. 추측 디코딩은 작은 초안 모델이나 히스토리 기반 히트맵을 이용해 여러 후보 토큰을 한 번에 생성하고, 대형 타깃 모델이 이를 병렬 검증함으로써 2 ×~5 ×의 지연 감소를 달성한다. 그러나 올바른 추측이 발생하면 한 반복(iteration)당 다수 토큰이 전송되고, 오류가 발생하면 한 토큰만 전송된다. 이 토큰 수 변동은 입력 프롬프트에 강하게 의존한다는 것이 핵심 관찰이다.

논문은 네트워크 공격자를 가정한다. 공격자는 암호화된 스트리밍 패킷의 크기와 전송 간격만을 관찰해 각 반복당 전송된 토큰 수를 추정한다. 실험에서는 4가지 대표적인 추측 디코딩 기법—REST, LADE, BiLD, EAGLE—에 대해 온도 0.3과 1.0 두 설정에서 50개의 의료 챗봇 프롬프트를 대상으로 정확도 75 % 이상을 기록했다. 특히 REST에서는 거의 완벽에 가까운 100 %(0.3)와 99.6 %(1.0) 정확도를 보였으며, 다른 기법도 60 %~95 % 수준을 유지한다. 이는 무작위 추측(2 % 이하)과 비교해 현저히 높은 식별 능력이다.

또한, 악의적인 사용자가 직접 입력을 조작해 추측 과정에서 올바른 토큰을 대량으로 얻을 경우, 데이터스토어에 저장된 비밀 텍스트(예: 코드 스니펫, 의료 기록)를 초당 25 토큰 이상 속도로 추출할 수 있음을 시연한다. 이는 기존 토큰‑길이 기반 사이드채널(≈27 % 복원)보다 훨씬 높은 정보 유출률을 의미한다.

방어 측면에서는 두 가지 완화책을 제안한다. 첫째, 여러 반복에 걸쳐 토큰을 집계해 한 번에 전송함으로써 토큰‑수 변동을 감추는 ‘iteration‑wise token aggregation’이다. 이 방법은 전송량을 크게 늘리지 않으면서 공격 정확도를 최대 50 % 감소시킨다. 둘째, 패킷에 고정 혹은 무작위 바이트를 추가하는 ‘packet padding’이다. 무작위 패딩은 정확도를 70 %까지 낮추지만 전송 부하가 8.7배 증가한다. 완전 고정 패딩은 정확도를 98 %까지 억제하지만, 패킷 크기가 230배로 폭증한다. 따라서 실서비스에서는 성능·보안 트레이드오프를 고려해 혼합 방식을 채택하는 것이 현실적이다.

이 연구는 추측 디코딩이 CPU 스펙터와 유사한 ‘추측‑실행’ 메커니즘을 LLM 추론 파이프라인에 도입함으로써 발생할 수 있는 프라이버시 위험을 최초로 정량화했으며, 기존 토큰‑길이 사이드채널 방어가 충분하지 않음을 입증한다. 향후 연구는 더 정교한 패딩·집계 스킴, 그리고 추측 디코딩 자체를 입력‑무관하게 동작하도록 설계하는 방법을 모색해야 할 것이다.