소형 LLM으로 지속가능한 에이전트 AI 구현: 효율·성능 균형 탐구

초록

본 논문은 대형 언어 모델(Large Language Model, LLM)의 추론 단계에서 발생하는 에너지 소비 문제를 해결하고자, 다양한 규모의 오픈소스 LLM을 실제 멀티‑에이전트 시스템에 적용해 비교 실험을 수행한다. 에너지 사용량, 디코드 지연시간, 출력 품질(grounded/ungrounded 분류 정확도) 세 축을 정량화한 결과, 0.5 B~14 B 규모의 소형 모델이 폐쇄형 GPT‑4o 대비 에너지 소비를 30 % 이상 절감하면서도 품질 저하가 미미함을 확인했다. 또한 배치 크기와 양자화·지식증류와 같은 압축 기법이 에너지 효율을 높이는 동시에 지연시간을 단축시키는 최적 설정을 제시한다. 연구 결과는 지속가능한 AI 설계 가이드라인을 제공한다.

상세 분석

이 연구는 LLM 기반 에이전트 시스템이 실제 서비스 환경에서 겪는 세 가지 핵심 과제—환경 영향(에너지 소비), 사용자 경험(디코드 지연), 출력 품질(grounded 판단 정확도)—를 동시에 고려한 최초의 종합 벤치마크라 할 수 있다. 기존 연구들은 보통 하나 혹은 두 가지 지표에만 초점을 맞추었으나, 본 논문은 ML‑Energy Benchmark를 기반으로 GPU‑Joule 단위의 에너지 측정, 디코드 단계만을 별도 추적한 지연 시간, 그리고 JSON 형태의 분류 라벨을 활용한 Macro F1 점수와 LLM‑as‑a‑Judge 기반 품질 점수를 동시에 적용했다.

실험 대상은 Qwen 2.5 시리즈(0.5 B~72 B)와 압축 모델(4‑bit/8‑bit 양자화, Knowledge Distillation) 등 28개의 오픈‑weight 모델과 7개의 압축 변형, 그리고 추가로 20개의 다양한 아키텍처(Gemma, Mistral, Falcon, Phi‑4, Llama‑Scout 등)를 포함한다. 1,000개의 실제 대화 요청(평균 8,000 토큰, 최대 25,500 토큰)과 평균 66 토큰의 응답을 사용해 평가했으며, 기준 모델은 GPT‑4o였다.

주요 결과는 다음과 같다. (1) 모델 규모가 작아질수록 GPU당 에너지 소비가 선형적으로 감소했으며, 7 B 이하 모델은 GPT‑4o 대비 30 %45 % 적은 전력을 사용했다. (2) 디코드 지연은 모델 파라미터 수와 직접적인 상관관계를 보였지만, 배치 크기를 816으로 늘리면 지연 감소 효과가 압축 기법보다 크게 나타났다. (3) 출력 품질 측면에서는 7 B 모델이 Macro F1 ≈ 0.92를 기록, GPT‑4o와 거의 동등한 성능을 보였으며, 0.5 B 모델은 약간의 품질 저하(F1 ≈ 0.86)에도 불구하고 여전히 실용적인 수준이었다. 양자화된 4‑bit 모델은 에너지 절감 효과가 크지만, 품질 점수가 0.05~0.08 정도 감소하는 경향을 보였다. Knowledge Distillation 모델은 원본 대비 품질 손실이 최소(≈0.02)하면서도 에너지와 지연을 20 % 이상 개선했다.

이러한 정량적 근거를 바탕으로 논문은 “OM(Overall Metric)”이라는 가중합 지표를 제안한다. 품질 w = 0.5, 지연 w = 0.3, 에너지 w = 0.2로 설정했을 때, 7 B Qwen‑Instruct와 Distill‑Qwen‑7B가 OM > 1을 달성, 즉 기준 모델을 능가하는 종합 성능을 보였다.

결론적으로, 소형 오픈‑weight LLM과 적절한 압축·배치 전략을 결합하면 대규모 폐쇄형 모델을 대체할 수 있는 충분한 효율성을 확보하면서도 사용자 경험과 품질을 유지할 수 있다. 이는 기업·기관이 AI 서비스의 탄소 발자국을 줄이고 비용을 절감하는 실질적인 로드맵을 제공한다.