대규모 LLM 서비스의 에너지 절감을 위한 보편적 부하 균형 원칙

초록

**
본 논문은 장벽 동기화가 적용된 병렬 시스템에서 발생하는 작업 불균형을 이론적으로 분석하고, “BF‑IO”(Balance Future with Integer Optimization)라는 온라인 정수 최적화 기반 부하 균형 원칙을 제시한다. LLM 디코딩 단계에 적용한 실험 결과, 평균 28 %의 에너지 절감과 함께 처리량·지연시간이 크게 개선됨을 보이며, 최악의 경우 52 % 이상의 에너지 절감 상한을 이론적으로 증명한다. 이 원칙은 LLM 서비스뿐 아니라 유사한 장벽‑동기화 시스템 전반에 적용 가능하다.

**

상세 분석

**
논문은 먼저 LLM 서빙에서 발생하는 특수한 부하 불균형 메커니즘을 상세히 설명한다. 프리‑프릴(pre‑fill) 단계에서 생성된 KV 캐시가 디코딩 워커에 “스티키(sticky)”하게 고정되며, 토큰이 생성될 때마다 KV 크기가 1씩 증가한다. 각 디코딩 스텝은 (1) 워커별 로컬 어텐션 연산 → (2) 모델‑패럴렐(EP/TP) 동기화 단계 로 구성되며, 전체 스텝 시간은 max_g T_local(g) + T_sync 로 정의된다. 여기서 T_local(g)는 워커 g가 현재 배치에 대해 읽어야 할 KV 양에 비례하고, T_sync는 모든 워커가 동기화에 소요되는 고정 시간이다. 워커 간 KV 양의 차이가 커질수록 max_g T_local(g)가 증가하고, 상대적으로 가벼운 워커는 대기 시간(idle)만 발생시켜 전력 소모가 비효율적으로 늘어난다. 실제 산업 현장 트레이스(32 GPU, 436 스텝)에서 평균·중앙값 40 % 이상의 장벽‑유발 대기 시간이 관측되었으며, 이는 전체 연산량의 2/3 이상이 낭비된다는 충격적인 결과를 보여준다.

이러한 현상을 해결하기 위해 저자들은 “BF‑IO” 원칙을 제시한다. 핵심 아이디어는 짧은 미래(Short Horizon) 를 예측해 현재 활성 작업들의 다음 k 스텝 내에 발생할 부하 변화를 추정하고, 이를 기반으로 정수선형 프로그램(IP) 형태의 할당 결정을 수행하는 것이다. 구체적으로 각 할당 시점 k에서 이진 변수 x_{g,i}(워커 g에 요청 i를 할당 여부)를 정의하고, 제약식은 (1) 워커당 슬롯 수 제한, (2) 스티키 할당(이미 할당된 요청은 이동 금지) 등을 포함한다. 목적함수는 ∑_{t=k}^{k+H} imbalance_t 로, 여기서 imbalance_t는 워커별 로컬 부하 차이의 L1 혹은 L2 노름이며, H는 짧은 예측 창(보통 2~5 스텝)이다. 이렇게 하면 전체 작업의 정확한 남은 시간 예측이 필요 없고, 오히려 근접 미래에 스트래거가 될 가능성이 높은 워커를 미리 완화 할 수 있다.

이론적 분석에서는 두 가지 주요 정리를 제시한다.

• Theorem 1·2: 최악의 적대적 도착 모델에서도 BF‑IO는 기존 베이스라인(예: 라운드‑로빈, JSQ) 대비 부하 불균형을 Ω(√B · log G) 만큼 감소시킨다. 여기서 B는 워커당 배치 크기, G는 워커 수이다. 즉 시스템 규모가 클수록 상대적 이득이 커진다.
• Theorem 4·Corollary 1: 부하 불균형 감소는 동기화 단계 전력 소비 감소와 직접 연결된다. GPU 전력 모델을 적용하면, G→∞ 일 때 에너지 절감 비율이 최신 GPU에 대해 52 %를 초과한다는 상한을 얻는다.

또한 저자들은 부하 증가 패턴을 일반화한다. LLM 디코딩에서 KV가 매 스텝 1씩 증가하는 경우뿐 아니라, (δ_k) 라는 시간‑가변 증가량을 갖는 모든 비감소 작업에 대해 동일한 정리(Theorem 3)를 증명한다. 이는 스펙터클 디코딩(한 스텝에 다중 토큰)이나 캐시 압축·희소 어텐션 등 다양한 변형에도 적용 가능함을 의미한다.

실험 부분에서는 공개 벤치마크와 사내 트레이스를 모두 사용했다. BF‑IO를 적용한 경우 평균 에너지 소비가 28.2 % 감소했으며, GPU 평균 활용률은 5 %p 상승했다. 시스템 규모를 8, 16, 32 GPU로 확장했을 때 절감 비율은 점진적으로 증가해 40 %에 육박했다. 처리량(throughput)은 최대 1.6배, 평균 지연(latency)은 22 % 감소했다. 이러한 결과는 이론적 보장이 실제 운영 환경에서도 실현 가능함을 강력히 뒷받침한다.

마지막으로 논문은 보편성을 강조한다. 장벽‑동기화와 스티키 상태를 가진 모든 병렬 시스템(예: 대규모 분자 동역학, 기후 시뮬레이션, 클라우드 데이터 파이프라인)에서 BF‑IO 원칙을 적용하면 유사한 부하 균형 개선과 에너지 절감 효과를 기대할 수 있다. 따라서 이 연구는 지속 가능한 고성능 컴퓨팅을 위한 이론·실험적 토대를 제공한다.

**