그린 AI를 향해: 소프트웨어 개발에서 LLM 추론 에너지 해부

초록

**
본 연구는 소프트웨어 개발에 사용되는 대형 언어 모델(LLM)의 추론 과정을 ‘프리필(prefill)’ 단계와 ‘디코딩(decoding)’ 단계로 구분하여 각각의 에너지 소비 특성을 정량적으로 분석한다. 6‑7B와 3‑4B 규모의 10개 모델을 HumanEval(코드 생성)과 LongBench(코드 이해) 벤치마크에 적용해, 프리필 비용이 디코딩 단계의 토큰당 에너지 비용을 1.3 %에서 51.8 %까지 증폭시킴을 발견하였다. 또한, 일부 모델이 과도하게 출력을 늘리는 ‘babbling’ 현상을 보이며 에너지 낭비를 초래함을 확인하고, 이를 억제하는 기법을 적용해 44 %‑89 %의 에너지 절감 효과를 얻었다.

**

상세 분석

**
이 논문은 LLM 추론을 두 개의 물리적 단계로 분리함으로써 기존 연구가 놓쳤던 에너지 비효율성을 드러낸다. 프리필 단계는 입력 토큰 전체를 한 번에 처리하면서 KV 캐시를 구축하는 과정으로, GPU의 연산 집약도가 높아 compute‑bound 특성을 보인다. 반면 디코딩 단계는 토큰을 순차적으로 생성하므로 메모리 대역폭과 캐시 효율에 크게 의존하는 memory‑bound 특성을 가진다. 이러한 차이는 동일한 파라미터 수를 가진 모델이라도 구현 세부사항(예: 연산자 스케줄링, 메모리 레이아웃, 정밀도 최적화)에 따라 에너지 프로파일이 크게 달라질 수 있음을 시사한다.

실험에서는 10개의 디코더‑전용 트랜스포머(Llama, Phi, Gemma, Qwen 계열)를 6‑7B와 3‑4B 두 그룹으로 나누어, HumanEval에서 평균 0.68 %~1.12 %의 정확도 차이만 보이는 모델들 사이에서도 프리필 에너지와 디코딩 에너지 비율이 크게 변동한다. 특히 프리필 에너지가 높은 모델은 디코딩 단계에서 토큰당 에너지 증가율이 1.3 %에서 51.8 %까지 확대되는 현상을 보였으며, 이는 입력 길이가 길어질수록 초기 KV 캐시 구축 비용이 누적되어 이후 토큰 생성 시 메모리 접근 비용을 상승시키는 메커니즘으로 해석된다.

‘babbling’ 현상은 모델이 목표 토큰 수를 초과해 불필요한 코드를 계속 출력하는 것으로, 디코딩 단계의 토큰 수 자체를 증가시켜 에너지 소비를 비례적으로 확대한다. 논문은 출력 길이를 제한하는 후처리(예: 최대 토큰 수 제한, 종료 토큰 검출 강화)를 적용해 세 모델에서 44 %~89 %의 에너지 절감을 달성했으며, 정확도(패스@1)는 변동이 없었다. 이는 실제 개발 파이프라인에서 불필요한 코드 생성 방지를 통해 에너지 효율을 크게 높일 수 있음을 보여준다.

전체적으로, 프리필 단계의 최적화(예: 입력 압축, KV 캐시 재사용)와 디코딩 단계의 babbling 억제가 동시에 이루어질 때, LLM 기반 코딩 도구의 에너지 발자국을 현저히 낮출 수 있다. 이는 Green AI 관점에서 모델 설계뿐 아니라 서비스 운영 단계에서도 에너지 관리 전략을 재고해야 함을 강조한다.

**