FastTTS: 엣지 LLM 추론을 위한 초고속 테스트‑타임 스케일링

초록

**
FastTTS는 메모리 제한이 있는 엣지 GPU에서 작은 LLM을 사용해도 클라우드 대형 모델 수준의 추론 정확도와 지연 시간을 달성하도록 설계된 서빙 시스템이다. 핵심은 불규칙한 추론 경로를 보완하는 Speculative Beam Extension, 생성‑검증 모델 간 메모리를 비대칭적으로 할당하는 Asymmetric Multi‑Model Memory Allocation, 그리고 KV‑cache 재사용을 극대화하는 Dynamic Prefix‑Aware Scheduling이다. 실험 결과, 기존 vLLM 대비 평균 2.2배 높은 goodput과 38 %‑68 % 낮은 지연 시간을 기록한다.

**

상세 분석

**
본 논문은 Edge 환경에서 LLM 기반 에이전트가 직면하는 두 가지 근본적인 제약, 즉 “메모리 부족”과 “추론 성능 저하”를 해결하고자 Test‑Time Scaling(TTS)이라는 인퍼런스 단계에서 연산량을 동적으로 늘리는 접근법을 재조명한다. 기존 TTS 방법은 검증‑가이드형 탐색(Verifier‑guided search) 구조를 공유하지만, 비정형 토큰 생성 길이와 다중 경로 탐색으로 인한 GPU 스트래글러(straggler) 현상이 심각한 하드웨어 비활용을 초래한다. FastTTS는 이를 세 가지 혁신적인 기술로 완화한다.

1. Speculative Beam Extension은 각 Beam이 다음 검증 단계에 도달하기 전에, 예상되는 최장 경로 길이를 기준으로 선행적으로 토큰을 생성한다. 이를 통해 GPU가 짧은 경로가 끝난 뒤에도 연산을 지속하게 하여 스트래글러 대기 시간을 최소화한다. 구현 시, 비동기 파이프라인과 동적 워크로드 스케줄링을 결합해 GPU 활용률을 70 % 이상 유지한다.

2. Asymmetric Multi‑Model Memory Allocation은 생성기(generator)와 검증기(verifier) 모델을 동일 메모리 풀에 비대칭적으로 배치한다. 기존 방식은 두 모델을 동일 비율로 할당해 배치 크기를 제한했지만, FastTTS는 실행 단계별 메모리 요구량을 실시간으로 측정하고, 검증 단계에서는 verifier에, 생성 단계에서는 generator에 메모리를 재배분한다. 이 전략은 특히 24 GB VRAM을 가진 소비자급 GPU에서 7 B 이하 모델을 두 개 동시에 로드할 수 있게 해, 배치 크기와 토큰 처리량을 1.8배 이상 향상시킨다.

3. Dynamic Prefix‑Aware Scheduling은 KV‑cache의 프리픽스 공유 가능성을 탐색한다. TTS 탐색 트리에서는 여러 경로가 동일한 초기 “think” 단계(프리픽스)를 공유한다. FastTTS는 런타임에 프리픽스 재사용 가능성을 추적하고, 캐시가 교체되지 않도록 스케줄을 재정렬한다. 결과적으로 메모리 압박이 큰 엣지 환경에서도 캐시 미스가 45 % 감소하고, 재계산 비용이 크게 절감된다.

시스템 구현은 기존 오픈소스 서빙 프레임워크 vLLM 위에 플러그인 형태로 제공되며, API 호환성을 유지한다. 평가에서는 Qwen2.5‑Math‑1.5B, GPT‑o1‑preview 수준의 정확도를 목표로, AIME·MATH‑500·MA‑TH 등 다양한 벤치마크에서 평균 2.2× goodput 향상과 38 %‑68 % 지연 감소를 입증한다. 특히, 메모리 사용량이 6 GB에서 12 GB로 늘어나는 경우에도 latency‑to‑accuracy 곡선이 클라우드 모델에 근접한다는 점이 주목할 만하다.

이러한 설계는 엣지 디바이스에서 LLM 기반 에이전트를 실제 서비스에 적용하기 위한 핵심 과제인 “성능‑메모리 트레이드오프”를 크게 완화한다. FastTTS는 향후 멀티‑모델 협업, 동적 프리팹 로딩, 그리고 하드웨어 가속기(예: NPU, FPGA)와의 연계에도 확장 가능하도록 모듈화된 아키텍처를 제시한다.

**