다중 에이전트 LLM 추론 트리 감사가 다수결과 판사보다 우수

초록

본 논문은 다중 에이전트 LLM 시스템에서 다수결 투표 대신 ‘AgentAuditor’라는 추론 트리 기반 감사 메커니즘을 제안한다. 에이전트들의 추론 과정을 트리 구조로 정리하고, 핵심 분기점에서 증거 기반 비교를 수행함으로써, 동일한 오류가 반복되는 ‘컨퍼베이션 컨센서스’를 극복한다. 또한 ‘Anti‑Consensus Preference Optimization(ACPO)’을 통해 다수의 오류에 대한 편향을 감소시키고, 소수 의견이 정답일 경우 이를 선호하도록 학습한다. 5가지 벤치마크에서 평균 5%p(절대)까지 정확도 향상을 보였으며, 기존 LLM‑as‑Judge 대비 3%p까지 개선하였다.

상세 분석

AgentAuditor는 기존 다중 에이전트 시스템이 흔히 사용하는 다수결 투표 방식의 근본적인 한계를 지적한다. 다수결은 에이전트들의 오류가 독립적이라는 가정에 기반하지만, 실제 LLM 에이전트들은 사전 학습된 모델 구조와 정렬(align) 과정에서 높은 상관관계를 갖는다. 따라서 동일한 편향이나 잘못된 전제에 의해 여러 에이전트가 같은 오류를 반복하는 ‘컨퍼베이션 컨센서스(confabulation consensus)’ 현상이 빈번히 발생한다. 이때 단순히 빈도만을 기준으로 선택하면 정답이 소수에 머무를 경우 정확도가 급격히 떨어진다.

AgentAuditor는 이러한 문제를 해결하기 위해 두 단계의 핵심 설계를 도입한다. 첫째, 각 에이전트의 원시 텍스트 출력을 의미론적 단계(step) 단위로 분해하고, 임베딩 기반 유사도 매칭을 통해 공통 전제와 분기를 식별한다. 이를 통해 ‘Reasoning Tree’를 구축하고, 동일한 전제는 하나의 노드로 압축, 서로 다른 전제는 새로운 브랜치를 생성한다. 이 과정에서 EMA(Exponential Moving Average) 방식으로 노드 중심 임베딩을 업데이트함으로써 노이즈에 강인한 클러스터링을 유지한다.

둘째, 트리에서 ‘Critical Divergence Point(CDP)’라 불리는 분기점을 탐지하고, 해당 지점에서만 로컬 증거 비교를 수행한다. 즉, 전체 추론 과정을 다시 평가하는 것이 아니라, 분기 직후의 짧은 서브트리를 추출해 두 브랜치의 논리적 일관성, 사실 검증, 근거의 풍부함 등을 LLM‑as‑Judge 형태의 평가 모델에 입력한다. 이렇게 하면 평가 비용이 에이전트 수와 무관하게 로그 수준으로 감소하고, 핵심 오류가 발생한 구간에 집중할 수 있다.

학습 측면에서는 ‘Anti‑Consensus Preference Optimization(ACPO)’을 도입한다. ACPO는 다수의 오류가 발생한 사례를 별도로 수집해, 모델이 ‘다수‑오류’ 상황에서 소수‑정답을 선택하도록 손실 함수를 설계한다. 구체적으로, 다수 의견에 대한 ‘sycophancy bias’를 페널티로 부과하고, 소수 의견이 제공하는 증거의 질을 보상한다. 이를 통해 감사 모델은 단순히 ‘인기’에 휘둘리지 않고, 증거 기반 판단을 내릴 확률이 높아진다.

실험에서는 5가지 대표적인 다중 에이전트 프레임워크(예: Debate, Critique, Dynamic Graph, Structured Communication, Self‑Organizing)와 여러 도메인(수학, 과학, 추론, 코드 생성 등)을 대상으로 평가했다. 결과는 평균적으로 다수결 대비 5%p, LLM‑as‑Judge 대비 3%p의 절대 정확도 향상을 보였으며, 특히 오류가 집중된 ‘컨퍼베이션’ 상황에서 소수 의견을 정확히 복원하는 비율이 크게 증가했다. 또한, 감사 과정의 연산량은 전체 트리 깊이에 비례해 선형적으로 증가했으며, 실제 서비스 환경에서도 실시간 응답 제한 내에 동작 가능함을 입증했다.

이 논문은 다중 에이전트 시스템에서 ‘증거 기반 로컬 평가’를 핵심 원칙으로 삼아, 기존의 통계적 집계 방식이 갖는 근본적인 약점을 보완한다는 점에서 의미가 크다. 특히, LLM이 점점 더 복잡한 협업 작업에 투입되는 현시점에서, AgentAuditor와 ACPO는 신뢰성 높은 집계 메커니즘을 제공하는 중요한 설계 패턴으로 자리매김할 가능성이 높다.