보이스서브: 스트리밍 음성 모델을 위한 차세대 서빙 플랫폼

초록

VoxServe는 다양한 SpeechLM을 하나의 프레임워크에서 효율적으로 서비스하도록 설계된 시스템이다. 모델‑아키텍처와 시스템 최적화를 분리하는 실행 추상화를 도입하고, 스트리밍 전용 스케줄러와 비동기 파이프라인을 통해 지연은 최소화하면서 처리량을 10‑20배 향상시킨다.

상세 분석

VoxServe의 핵심 혁신은 “모델‑실행 추상화”에 있다. 기존 LLM 서빙 프레임워크는 텍스트 토큰만을 대상으로 최적화돼 있었으며, 음성 토큰, 다중 코드북, 오디오 디코더 등 복합적인 파이프라인을 지원하지 못했다. VoxServe는 각 SpeechLM을 ‘Preprocess → LLM Forward → Sampling → Detokenize → Postprocess’ 단계로 분해하고, 각 단계마다 공통 인터페이스를 정의한다. 이를 통해 서로 다른 아키텍처(예: DAC, SNAC, CosyVoice2)의 모델을 동일한 스케줄러가 관리할 수 있다.

스트리밍 특성을 고려한 스케줄링 알고리즘은 TTF‑A(Time‑to‑First‑Audio)와 Streaming Viability를 목표 함수로 삼는다. 첫 번째 오디오 청크가 빠르게 도착하도록 LLM 프리필과 디코더 호출 시점을 동적으로 조정하고, 이후 청크는 재생 시간(Ci)보다 앞서 전달되도록 캐시와 배치 크기를 실시간으로 최적화한다. 비동기 파이프라인은 GPU 워커가 LLM과 디코더 작업을 겹쳐 수행하도록 설계돼, CPU‑GPU 간 동기화 오버헤드를 크게 감소시킨다.

또한 VoxServe는 CUDA Graph를 활용해 반복적인 연산 그래프를 사전 컴파일하고, 배치 단위로 실행함으로써 메모리 할당 비용과 커널 런타임을 최소화한다. 모델‑별 메타데이터(코드북 수, 토큰 레이트, 샘플링 윈도우 등)는 런타임에 자동으로 파싱돼 스케줄러에 전달되므로, 새로운 SpeechLM이 추가될 때 별도의 최적화 코드를 작성할 필요가 없다.

실험 결과는 세 가지 최신 SpeechLM(A, B, C)을 대상으로 기존 LLM 서빙 스택(예: vLLM, FasterTransformer)과 비교했다. 동일한 하드웨어(GPU A100 40GB)에서 VoxServe는 평균 12배, 최악의 경우 20배까지 처리량을 끌어올렸으며, TTF‑A는 30‑50ms 수준으로 유지해 인간 감지 한계 이하의 지연을 제공한다. 스트리밍 연속성 검증에서도 모든 청크가 재생 시간 내에 도착했으며, 이는 기존 시스템이 종종 발생시키는 끊김 현상을 완전히 해소한다.

VoxServe는 또한 분산 추론 모드와 배치‑우선 모드로 전환이 가능해, 클라우드 환경에서 비용 효율적인 멀티‑테넌트 서비스 구현을 지원한다. 코드가 공개돼 연구자와 엔지니어가 직접 확장·수정할 수 있다는 점도 큰 장점이다.

요약하면, VoxServe는 SpeechLM 특유의 멀티‑스테이지 파이프라인을 하나의 추상화 레이어로 통합하고, 스트리밍 지연과 처리량을 동시에 최적화함으로써 현재 가장 실용적인 음성 모델 서빙 솔루션으로 자리매김한다.