프리즘: 추측 샘플링 초안 모델을 위한 파라미터 분산 추론

초록

PRISM은 초안‑검증(스펙큘레이티브 디코딩)에서 초안 모델의 용량을 늘리면서도 매 단계 활성화되는 파라미터 수는 일정하게 유지하도록 설계된 새로운 아키텍처이다. 단계별로 서로 다른 파라미터 집합을 적용해 연산을 분산시킴으로써 모델 용량과 추론 비용을 효과적으로 탈착시킨다. 실험 결과, 기존 초안 모델 대비 수용 길이가 크게 늘고 전체 디코딩 속도가 2.6배 이상 향상됨을 보였다.

상세 분석

PRISM은 기존 스펙큘레이티브 디코딩에서 초안 모델이 “작고 빠른” 특성을 유지해야 한다는 전제에 도전한다. 저자들은 초안 모델의 예측 난이도가 토큰 위치에 따라 비선형적으로 변한다는 사실을 관찰하고, 이를 해결하기 위해 “조건부 컴퓨팅” 개념을 도입했다. 구체적으로, 초안 모델의 각 생성 단계마다 서로 다른 파라미터 서브셋을 할당해 단계별 연산 깊이를 점진적으로 늘린다. 초기 토큰은 얕은 서브네트워크로 처리해 빠른 응답을 유지하고, 시퀀스가 진행될수록 더 깊은 서브네트워크가 활성화돼 복잡한 패턴을 학습한다. 이는 MoE(전문가 모델)에서 라우팅을 이용해 서브모델을 선택하는 방식과 유사하지만, PRISM은 토큰 순서 자체를 라우팅 신호로 사용한다는 점에서 차별화된다.

이 설계는 두 가지 핵심 이점을 제공한다. 첫째, 전체 파라미터 수는 크게 늘어나 모델의 표현력과 학습 가능성이 확대되지만, 매 단계에 실제로 실행되는 연산량은 일정하게 유지돼 메모리 대역폭 병목을 피한다. 둘째, 단계별로 점진적인 깊이 증가가 “어려운” 후반 토큰에 더 많은 계산 자원을 할당함으로써 초안 모델의 수용률(acceptance rate)을 크게 높인다. 논문에서는 LLaMA‑3‑8B 기반 실험을 통해 PRISM이 기존 EA‑GLE‑2/3, HASS 등과 비교해 평균 수용률이 5~10%p 상승하고, 최종 디코딩 throughput이 2.6배 이상 개선된다는 결과를 제시한다.

또한 PRISM은 스케일링 법칙을 재검증한다. 전통적인 “수직 스택” 방식은 파라미터를 늘릴수록 매 단계 연산 비용도 비례적으로 증가해 효율이 급감한다. 반면 PRISM은 파라미터 총량이 증가해도 활성 파라미터 수는 고정되므로, 데이터 양이 늘어날 때 효율적인 확장이 가능하다. 저자들은 다양한 데이터 규모와 모델 크기에서 PRISM이 기존 초안 모델 대비 더 높은 수용 길이와 낮은 지연 시간을 유지함을 실험적으로 입증한다.

마지막으로, PRISM을 실제 시스템에 적용하기 위해 SGLang이라는 고성능 추론 엔진에 통합했으며, PyTorch 기반 실험과 비교해 시스템 레벨 최적화가 가져오는 추가적인 1.3×~1.5× 속도 향상을 보고한다. 이는 연구 커뮤니티가 제시한 “AI‑시스템 격차”를 메우는 중요한 실증이다.

전반적으로 PRISM은 초안 모델 설계에서 “용량 vs 비용” 트레이드오프를 근본적으로 재구성하는 혁신적 접근이며, 스펙큘레이티브 디코딩을 실제 서비스에 적용할 때 발생하는 비용 문제를 크게 완화시킬 잠재력을 가진다.