동시 트랙 트랜스포머 GPU 추론 속도 혁신

초록

Parallel Track(PT) 트랜스포머는 모델을 여러 “트랙”으로 분할하고, 일정 블록 깊이마다만 전체 동기화를 수행함으로써 기존 텐서 병렬 방식 대비 최대 16배 적은 동기화 횟수를 달성한다. 실험에서는 6·13·30 B 규모 모델에서 품질 저하가 미미하고, TensorRT‑LLM·vLLM 서빙 스택에서 TTFT 15‑30 % 감소, 토큰당 지연 2‑12 % 감소, 처리량 31.9 % 향상을 기록했다.

상세 분석

본 논문은 대규모 언어 모델(LLM) 추론 시 GPU 간 동기화가 병목이 된다는 점에 주목한다. 기존 텐서 병렬은 각 레이어마다 가중치를 분할하고, 연산 후 all‑reduce를 통해 결과를 합치는 방식으로, 레이어 수 L에 대해 2 L 번의 동기화가 필요하다. PT 트랜스포머는 이러한 구조를 근본적으로 재설계한다. 모델을 n개의 트랙으로 나누고, 각 트랙은 독립적인 완전한 트랜스포머 서브넷을 갖는다. 트랙 내부에서는 완전한 연산이 이루어지며, 트랙 블록 깊이 D(예: 2, 4, 8)마다 전체 트랙에 대해 한 번의 all‑reduce만 수행한다. 따라서 전체 동기화 횟수는 L/D 로 감소하고, D = 4일 경우 87.5 %의 동기화가 사라진다.

동기화 횟수 감소와 별개로, 트랙당 파라미터 차원이 전체 모델 대비 작아지기 때문에 교환되는 텐서 양도 감소한다. 이는 메모리 대역폭 압박을 완화하고, GPU 간 통신 지연을 크게 줄인다. 논문은 PT를 기존 텐서 병렬 파이프라인에 그대로 삽입할 수 있음을 보여주며, 구현 복잡도는 기존 all‑reduce 호출을 트랙 블록 경계에 맞춰 재배치하는 수준에 머문다.

품질 측면에서는, 트랙 간 동기화 주기를 늘릴수록(즉, D를 크게 할수록) 모델의 표현력이 약간 감소할 위험이 있다. 실험 결과는 6 B 모델에서 D = 8일 때 MMLU 점수가 0.36으로 급격히 떨어지는 반면, 13 B·30 B 모델에서는 D = 8에서도 대부분의 벤치마크에서 1 % 이내의 차이만 보였다. 이는 규모가 커질수록 트랙 간 정보 손실이 상대적으로 적어짐을 시사한다.

서빙 평가에서는 두 주요 스택(TensorRT‑LLM, vLLM)에서 PT 모델을 적용했을 때, TTFT가 15‑30 % 감소하고 토큰당 처리 시간(TPOT)이 2‑12 % 개선되었다. 특히 긴 시퀀스(예: 64 K 토큰)에서 처리량이 31.9 %까지 상승했으며, 이는 동기화 지연이 전체 파이프라인에서 차지하는 비중이 커지는 상황에서 PT의 장점이 극대화된 결과이다. 또한, PT‑MoE 확장도 제안했는데, 트랙 내부에 Mixture‑of‑Experts를 삽입해 희소성을 추가하면서도 동기화 스케줄은 그대로 유지한다는 점에서 시스템‑관점과 모델‑관점 모두를 동시에 최적화한다는 의의를 갖는다.

결론적으로 PT 트랜스포머는 “동기화‑중심” 설계 패러다임을 전환함으로써, 대규모 LLM 추론의 핵심 병목을 구조적으로 해소한다. 이는 멀티‑GPU 환경에서 레이턴시‑민감한 서비스(예: 실시간 챗봇, 검색 보조)와 고처리량 배치 작업 모두에 적용 가능하며, 향후 더 큰 모델·클러스터 규모에서도 동일한 설계 원칙을 확장할 여지를 제공한다.