LLM 효율성을 위한 양자화 배치 서빙 전략

초록

본 논문은 NVIDIA H100 GPU 환경에서 대형 언어 모델(LLM)의 추론 단계별 에너지와 지연 시간을 정량화한다. 수치 정밀도( float32, bfloat16, float16, int8, int4), 배치 크기, 그리고 Hugging Face Text Generation Inference(TGI) 서버의 요청 스케줄링을 변수로 삼아 실험하였다. 결과는(1) 프리필 단계는 모델이 충분히 큰 경우 컴퓨팅 바인드가 되므로 낮은 정밀도가 에너지 절감에 크게 기여하고, 작은 모델은 메모리 바인드라 효과가 미미함을, (2) 디코드 단계는 전반적으로 메모리 바인드이며 양자화가 오히려 오버헤드로 작용해 에너지 절감 효과가 거의 없음을, (3) 배치를 적절히 늘리면 커널 런타임이 길어져 GPU 유휴 전력이 감소하고, 특히 디코드 단계에서 4배까지 에너지 효율이 향상되며, (4) 요청 도착 시점을 조절해 배치 품질을 높이면 개별 요청당 에너지를 최대 100배까지 절감할 수 있음을 보여준다. 논문은 LLM 서비스의 지속 가능성을 위해 모델 자체뿐 아니라 서빙 스택 전체의 최적화가 필수임을 강조한다.

상세 분석

이 연구는 LLM 추론을 두 단계, 프리필(pre‑fill)과 디코드(decode)로 명확히 구분하고 각 단계별 연산 특성을 분석한다. 프리필 단계는 입력 프롬프트 전체를 한 번에 처리하는 과정으로, 입력 길이가 길어질수록 FLOP 대비 메모리 이동 비율이 높아져 컴퓨팅 바인드로 전환한다. 이때 모델의 히든 차원이 크고 파라미터 수가 많을수록 전환점이 앞당겨지며, H100의 Tensor Core가 활성화돼 float16·bfloat16·int8 등 낮은 정밀도가 연산량을 크게 감소시켜 GPU 에너지 소비를 최대 4배 절감한다. 반면, 작은 모델(예: Qwen‑0.5B)은 메모리 대역폭 제한이 지속돼 정밀도 감소가 오히려 특수 커널 호출 오버헤드와 비동기 실행 지연을 야기해 에너지 절감 효과가 미미하거나 약간 증가한다.

디코드 단계는 토큰을 순차적으로 생성하면서 KV 캐시를 재활용하는 특성상 연산량이 적고 메모리 접근이 빈번해 전형적인 메모리 바인드 워크로드가 된다. 이때 정밀도를 낮추면 전송되는 비트 수는 감소하지만, GPU는 여전히 메모리 전송 단위가 3264바이트인 고정 폭을 사용하고, 4비트 양자화는 정렬·코얼레싱 문제로 실제 대역폭 절감 효과가 제한된다. 또한, int8·int4 양자화는 실시간 디퀀타이징 커널을 추가로 호출하게 만들어 커널 파편화와 스케줄링 지연을 초래한다. 결과적으로 디코드 단계에서는 float32과 거의 동일한 에너지·지연 특성을 보이며, 경우에 따라 오히려 23배 높은 에너지 소비가 관찰된다.

배치 크기 확대는 두 단계 모두에서 에너지 효율성을 개선한다. 프리필 단계에서는 배치가 커질수록 패딩으로 인한 불필요 연산이 증가해 유효 토큰당 에너지는 상승하지만, 전체 연산량 대비 에너지 비율은 선형적으로 증가한다(패딩 포함 시 일정). 디코드 단계는 배치가 4~8 정도까지 증가하면 메모리 접근이 병렬화돼 캐시 재사용 효율이 높아지고, 커널 런타임이 길어져 GPU 유휴 전력(≈120 W)이 감소한다. 배치가 과도하게 커지면 패딩 비용과 스케줄링 복잡도가 다시 상승해 효율이 포화된다.

가장 혁신적인 결과는 요청 도착 시점을 조절해 배치 품질을 최적화한 ‘arrival shaping’ 실험이다. 트래픽을 일정 간격으로 모아 배치에 투입하면, 동일한 하드웨어에서 개별 요청당 에너지 소비가 최대 100배 감소한다는 점을 보여준다. 이는 실시간 서비스에서 배치 대기 시간을 허용할 수 있는 경우, 에너지·비용 절감 효과가 기하급수적으로 커짐을 의미한다.

전체적으로 논문은 LLM 추론 효율성을 평가할 때 단순히 모델 크기·정밀도만 고려하는 것이 아니라, 연산 단계, 배치 전략, 서빙 스케줄링까지 포괄적인 시스템 레벨 분석이 필요함을 설득력 있게 증명한다. 이러한 통합 접근은 데이터센터 전력 관리, 탄소 배출 감소, 그리고 비용 효율적인 AI 서비스 제공에 직접적인 영향을 미친다.