감사의 말이 부르는 전력 소비

초록

본 논문은 LLM과의 대화에서 “thank you”와 같은 정중한 문구가 실제로 소모하는 에너지를 정량화한다. 10 000개의 실제 대화 데이터를 기반으로 GPU, CPU, RAM 별 에너지 사용량을 측정하고, 입력·출력 토큰 길이와 모델 규모가 에너지 소비에 미치는 영향을 분석한다. 결과는 한 번의 정중한 응답에 평균 0.245 Wh가 소모되며, 대부분이 GPU에서 발생한다는 점을 보여준다. 또한 모델이 클수록 토큰당 에너지 비용이 증가하고, 큰 모델은 더 길게 답변을 생성해 추가 비용을 초래한다는 사실을 제시한다.

상세 분석

이 연구는 LLM 서비스의 미세한 사용 패턴까지 에너지 효율을 고려해야 함을 실증적으로 증명한다. 먼저, 저자들은 UltraChat 200k 데이터셋에서 “thank you”로 끝나는 10 000개의 대화를 추출하고, 각 대화에 대해 5번의 워밍업 후 10번의 측정 실행을 수행했다. 이 과정에서 프리필(pre‑fill) 단계와 디코드(decode) 단계를 구분해 GPU, CPU, RAM 에너지 소비를 NVML, pyRAPL, CodeCarbon 등으로 정밀 측정하였다.

핵심 결과는 GPU가 전체 에너지의 80 % 이상을 차지한다는 점이다. 평균 GPU 소비는 0.202 Wh이며, 이는 5 W LED 전구를 3분 가량 켜는 에너지와 동등하다. CPU와 RAM은 각각 0.024 Wh, 0.019 Wh로 미미하지만, 대규모 서비스에서는 누적 효과가 무시할 수 없다.

에너지 소비는 입력 토큰 수(s)와 출력 토큰 수(g)에 거의 선형적으로 의존한다. 저자들은 GPU 연산을 compute‑bound와 memory‑bound 두 종류로 나누어, 각각의 FLOP와 데이터 전송량을 기반으로 이론적 지연 모델을 구축했다. 실험 결과는 이 모델과 높은 상관관계를 보이며, 프리필 단계는 입력 길이에 비례해 선형·약간의 2차 항을 보이고, 디코드 단계는 출력 길이에 비례하는 선형 항이 지배적이다. 특히 디코드 단계는 매 토큰마다 순차적으로 실행되므로, 긴 응답일수록 에너지 누적이 크게 증가한다.

모델 규모에 따른 분석에서는 Qwen 2.5 시리즈(0.5 B–14 B)와 Mistral‑7B, LLaMA 3.1‑8B를 비교했다. 모델 파라미터가 증가하면 (1) 레이어 수(N)와 숨김 차원(h)이 커져 연산 복잡도가 O(N·h²)로 상승하고, (2) 모델이 더 풍부하고 긴 답변을 생성하는 경향이 있어 출력 토큰 수(g)도 증가한다. 결과적으로 동일 토큰 수에 대해 큰 모델은 작은 모델보다 약 2–3배 높은 GPU 에너지를 소모한다.

저자들은 에너지 절감 방안으로 (가) 프리필 단계에서 캐시 재사용을 극대화하고, (나) 디코드 단계에서 토큰 수를 제한하거나 압축된 디코딩 전략(예: 샘플링 온도 조절, 토큰 스키핑)을 적용할 것을 제안한다. 또한, 서비스 설계 시 “감사의 말”과 같은 정중한 문구를 자동으로 생략하거나, 사전 정의된 짧은 응답으로 대체하는 UI/UX 레이어를 도입해 전체 시스템 에너지 발자국을 줄일 수 있다.

이 논문은 인간-LLM 상호작용에서 사회적 관습이 실제 컴퓨팅 비용으로 전환되는 구체적 사례를 제공함으로써, AI 윤리·안전 논의에 효율성 측면을 추가한다. 향후 연구에서는 에너지와 응답 품질(유용성, 신뢰도) 사이의 트레이드오프를 정량화하고, 다양한 하드웨어(예: ARM 기반 추론 가속기)와 최적화 기법을 적용한 종합적인 비용‑효과 모델을 구축할 필요가 있다.