GoodSpeed 분산 엣지 추론을 위한 적응형 추측 디코딩 공정 좋은 처리량 최적화

초록

GoodSpeed는 경량 초안 모델을 이용해 엣지 디바이스에서 토큰을 사전 생성하고, 중앙 검증 서버가 대형 LLM으로 이를 검증하는 분산 추측 디코딩 프레임워크이다. Gradient‑based 스케줄링을 통해 각 초안 서버에 할당되는 토큰 수를 동적으로 조정함으로써 전체 좋은 처리량(goodput)을 극대화하고, 로그 유틸리티 함수를 사용해 서버 간 공정성을 보장한다. Fluid sample‑path 분석을 통해 최적 할당으로 수렴함을 증명하고, 실제 LLM(예: Llama‑3‑70B, Qwen3‑14B) 실험에서 지연 감소와 좋은 처리량 향상을 입증한다.

상세 분석

본 논문은 대규모 언어 모델(LLM)의 실시간 추론을 엣지 환경에 적용하기 위한 근본적인 병목을 두 가지 차원에서 해결한다. 첫 번째는 추측 디코딩(speculative decoding) 메커니즘을 분산 형태로 확장한 점이다. 기존 연구는 단일 서버 내에서 경량 초안 모델(draft model)과 대형 목표 모델(target model)을 순차적으로 혹은 배치 형태로 운영했지만, GoodSpeed는 N개의 이기종 초안 서버가 각각 로컬에서 토큰을 생성하고, 중앙 검증 서버가 GPU 가속을 이용해 이들을 동시에 검증하도록 설계하였다. 이를 통해 네트워크 지연을 최소화하고, 초안 생성 단계에서 발생하는 연산을 엣지 디바이스에 분산시켜 전체 시스템의 스루풋을 크게 높였다.

두 번째 핵심 기여는 “Gradient Scheduling”이라 명명한 동적 자원 할당 알고리즘이다. 각 초안 서버 i에 대해 예상 토큰 수용률 α_i 를 실시간으로 추정하고, 로그 형태의 효용 함수 U_i(x_i)=log(x_i) 를 최대화하는 방향으로 x_i(=goodput) 를 조정한다. 이때 최적화 문제는 ∑_i x_i ≤ C (검증 서버의 총 처리 용량) 라는 선형 제약 하에 풀리며, 라그랑주 승수를 이용한 그라디언트 상승 방식으로 해를 구한다. 로그 효용은 자원 할당이 소수점 수준에서도 공정성을 유지하도록 보장하며, 과다 할당된 서버가 급격히 감소하도록 자연스럽게 유도한다.

이론적 측면에서는 fluid sample‑path 분석을 적용해 시스템이 시간 t→∞ 로 갈 때 최적 해에 수렴함을 증명한다. 구체적으로, 연속적인 토큰 흐름을 미분 방정식 형태로 모델링하고, Lyapunov 함수 기반 안정성 분석을 통해 오차가 O(1/√t) 이하로 제한됨을 보였다. 이는 동적 워크로드가 발생하더라도 알고리즘이 근사 최적 해를 유지한다는 강력한 보장을 제공한다.

실험에서는 최신 LLM인 Llama‑3‑70B와 Qwen3‑14B를 대상으로, 기존 단일 초안 모델 기반 SD, 다중 초안 모델을 이용한 SpecInfer, 그리고 중앙 집중형 배치 처리와 비교하였다. GoodSpeed는 평균 지연을 30 % 이상 감소시키고, 전체 goodput을 1.8배 향상시켰으며, 특히 초안 서버 간 acceptance rate 차이가 클 때도 로그 효용 기반 스케줄링이 공정성을 유지해 특정 서버가 과부하되는 현상을 방지했다. 또한 네트워크 대역폭 제한 상황에서도 초안 토큰만 전송함으로써 통신 비용을 크게 절감했다.

전체적으로 GoodSpeed는 (1) 분산 초안 생성으로 엣지 지연 최소화, (2) 로그 효용 기반 그라디언트 스케줄링으로 공정하고 효율적인 자원 배분, (3) fluid 모델을 통한 수렴 보증이라는 세 축을 동시에 만족시키는 종합적인 프레임워크라 할 수 있다. 향후 연구에서는 초안 모델의 자동 선택, 비동기 검증 파이프라인, 그리고 멀티‑모달 입력에 대한 확장 가능성을 탐색할 여지가 있다.