LLM 기반 다중 에이전트 시스템의 불확실성 탐구

초록

**
본 논문은 공개된 대형 언어 모델(LLM) 위에 구축된 다중 에이전트 시스템(MAS)의 성능을 불확실성(엔트로피) 관점에서 분석한다. 토큰·에이전트·라운드 수준의 245가지 특성을 활용해 여섯 가지 벤치마크와 네 가지 토폴로지를 실험했으며, 초기 라운드의 엔트로피 변동이 최종 정확도에 결정적 영향을 미친다는 점을 발견했다. 또한 단일 에이전트가 약 43 %의 경우 MAS보다 우수함을 확인하고, ‘Entropy Judger’라는 간단한 선택 알고리즘을 제안해 모든 설정에서 정확도를 향상시켰다.

**

상세 분석

**
이 연구는 LLM 기반 MAS의 성공 요인을 정량적으로 규명하기 위해 ‘불확실성’이라는 통일된 메트릭을 도입했다는 점에서 의미가 크다. 기존 연구들은 주로 정확도·지연·비용 등 거시적인 지표에 의존했지만, 본 논문은 토큰 수준 확률 분포에서 계산되는 엔트로피를 계층적으로 추적한다. 구체적으로는 (1) 토큰‑레벨 엔트로피 H(s) = −∑₍v∈V₎ π(v|s) log π(v|s) 를 모든 디코딩 단계에서 기록하고, (2) 에이전트‑레벨 통계(156개 특성)로 각 에이전트의 평균·분산·라운드 간 변동을 측정한다. (3) 라운드‑레벨 동역학(27개 특성)에서는 라운드별 평균·최대·증감률을 계산해 초기 라운드가 전체 시스템에 미치는 파급 효과를 파악한다. (4) 샘플‑레벨 집계(29개 특성)와 (5) 시스템‑레벨 비교(10개 특성)로 서로 다른 토폴로지 간 엔트로피 패턴을 정량화한다.

실험은 LLaMA‑3B/8B, Qwen3‑0.6/4/8B 등 5개의 오픈소스 모델을 대상으로 GSM8K, MATH500, AIME2024·2025, HumanEval, MMLU 등 6개의 벤치마크에서 수행되었다. 모든 MAS 구성은 라운드 R = 2 로 고정했으며, ‘Sequential’, ‘Centralized’, ‘Debate’, ‘Hybrid’ 네 가지 토폴로지를 비교했다. 주요 결과는 다음과 같다.

1. 단일 에이전트 우위: 전체 30가지 실험 시나리오 중 13건(43.3 %)에서 SAS가 MAS보다 높은 정확도를 기록했으며, 특히 작은 모델(L‑3, Q‑0.6)과 수학 문제에서 차이가 크게 나타났다. 이는 에이전트 수가 늘어나도 커뮤니케이션 비용·불일치가 성능을 저해할 수 있음을 시사한다.

2. 초기 라운드 엔트로피 결정성: 라운드 1에서의 평균 엔트로피가 낮을수록 라운드 2와 최종 정답률이 크게 상승한다는 강한 상관관계가 발견되었다. SHAP 분석 결과 ‘첫 라운드 토큰 평균 엔트로피’와 ‘첫 라운드 엔트로피 변동성’이 가장 높은 중요도를 보였으며, 이들 특성값이 감소하면 정답 확률이 상승한다.

3. 베이스 모델 불확실성 영향: 베이스 모델 자체의 토큰‑레벨 엔트로피(‘Base‑E’)가 낮은 경우 MAS가 더 큰 성능 향상을 보였다. 즉, 모델이 초기부터 확신을 가지고 추론할수록 다중 에이전트 간 협업이 시너지 효과를 발휘한다. 반대로 베이스 모델이 고엔트로피 상태이면 에이전트 간 의견 충돌이 빈번해 성능이 저하된다.

4. Task‑Awareness: 엔트로피 동역학이 작업마다 다른 패턴을 보였다. 예를 들어 코드 생성(HumanEval)에서는 라운드 2에서 엔트로피 감소가 정확도 향상에 크게 기여했지만, 수학 문제(GSM8K, MATH500)에서는 라운드 1에서의 급격한 엔트로피 감소가 핵심이었다. 이는 작업 특성에 맞는 라운드‑별 불확실성 관리 전략이 필요함을 의미한다.

5. Entropy Judger: 245개의 엔트로피 기반 특성을 입력으로 XGBoost와 LightGBM을 앙상블한 ‘Entropy Judger’를 학습시켰다. 이 모델은 각 후보 답변에 대한 정답 확률을 추정해 pass@k 중 가장 높은 확률을 가진 답을 선택한다. 실험 결과, 모든 MAS 토폴로지와 모든 벤치마크에서 평균 정확도가 1.2 %~4.5 % 상승했으며, 특히 성능이 낮은 모델(L‑3)에서 가장 큰 개선 효과를 보였다.

전체적으로 이 논문은 “불확실성 감소 = 정답 확률 증가”라는 직관을 정량화하고, 초기 라운드에서 엔트로피를 어떻게 제어하느냐가 MAS 설계의 핵심임을 입증한다. 또한, 엔트로피 기반 메타 모델을 활용한 사후 선택 기법이 복잡한 다중 에이전트 시스템에서도 간단히 적용 가능함을 보여준다. 향후 연구는 (1) 엔트로피를 직접 제어하는 프롬프트 설계, (2) 라운드‑별 동적 토폴로지 재구성, (3) 대규모 상용 LLM에 대한 확장 검증 등을 통해 MAS의 효율성을 더욱 높일 여지가 있다.

**