라운드테이블 정책: 신뢰 가중 합의로 멀티에이전트 추론 강화

초록

본 논문은 다수의 대형 언어 모델(LLM)을 활용해 추론 시점에 신뢰와 불확실성을 정량화한 가중 합의를 수행하는 “라운드테이블 정책(Roundtable Policy)”을 제안한다. 제안 기법은 제안·평가·합의의 3단계로 구성된 멀티‑에이전트 프레임워크이며, 과거 평가 결과를 기반으로 만든 신뢰‑가중 테이블을 이용해 각 에이전트의 발언을 동적으로 가중한다. 이를 통해 과학·공학 분야의 이질적인 문제와 장기적인 서술 과제에서 기존 투표·토론 방식보다 평균 11~13% 정도의 정확도·일관성 향상을 달성한다.

상세 분석

라운드테이블 정책은 기존 멀티에이전트 협업 방식의 두 가지 근본적인 한계를 보완한다. 첫째, 단순 다수결 투표는 모든 에이전트를 동등하게 취급해 특정 도메인에서 높은 정확도를 보이는 모델이 전체 결과를 좌우하지 못한다는 문제점이 있다. 둘째, 토론 기반 접근은 대화 흐름에 따라 결과가 수렴하지만, 어느 단계에서 어떤 에이전트가 얼마나 기여했는지 투명하게 추적하기 어렵다. 라운드테이블은 이러한 문제를 ‘신뢰‑가중 테이블(confidence‑weight table)’이라는 구조화된 메모리를 도입함으로써 해결한다.

구조는 크게 세 단계로 나뉜다. 제안 단계에서는 Lp개의 플레이어 에이전트가 동일 질문에 대해 독립적으로 답변을 생성한다. 이때 모델 다양성을 확보하기 위해 서로 다른 사전학습 모델(예: ChatGPT, LLaMA, Gemini 등)이나 프롬프트 변형을 사용할 수 있다. 평가 단계에서는 Lg개의 그레이더 에이전트가 각 답변을 사전 정의된 루브릭에 따라 점수(s)와 95% 신뢰구간(u)을 산출한다. 점수는 -100~100 범위의 품질 스코어이며, 신뢰구간은 평가의 불확실성을 정량화한다. 이렇게 얻은 (s, u) 쌍을 평균해 각 플레이어에 대한 ‘품질‑불확실성’ 페어를 만든다. 역전 단계에서는 누적된 (s, u) 데이터를 이용해 신뢰‑가중 테이블 ϑ를 업데이트한다. ϑ는 Lp × N 형태의 행렬로, N은 과제별(ScienceEval) 혹은 루브릭 차원별(ScienceNarrative) 평가 항목을 의미한다.

학습이 완료된 ϑ는 추론 단계에서 고정된 메타 파라미터로 활용된다. 새로운 질문이 들어오면 플레이어 에이전트가 답변을 생성하고, 집계 에이전트(A_F)는 ϑ를 조건으로 각 답변에 가중치를 부여해 최종 합의를 만든다. 이 과정은 LLM 자체를 파인튜닝하거나 파라미터를 수정하지 않으며, 오직 외부 메모리(ϑ)만을 업데이트한다는 점에서 구현 비용이 낮다.

실험 설계는 두 가지 새로운 벤치마크를 제시한다. ScienceEval은 지구과학, 생물학, 수학 등 이질적인 도메인의 문제를 혼합해 에이전트 간의 도메인 전문성을 평가한다. ScienceNarrative는 긴 컨텍스트와 구조화된 서술이 요구되는 과학 제안서 작성을 과제로 삼아, 장기적인 일관성과 논리 흐름을 측정한다. 두 벤치마크 모두 기존 단일 모델 및 기존 멀티에이전트(다수결, 토론) 대비 평균 13.01%와 11.04%의 성능 향상을 기록했다.

안정성 분석에서는 하이퍼파라미터(플레이어 수, 그레이더 수, 평가 스코어 범위)와 ϑ 초기화 방식에 대한 민감도 검증을 수행했으며, 대부분의 설정에서 일관된 이득을 확인했다. 또한, 그레이더 편향을 조사한 결과, 다수의 그레이더를 활용해 평균을 취함으로써 개별 그레이더의 편향이 크게 감소하고, 신뢰‑가중 테이블이 보다 객관적인 신뢰도 추정치를 제공한다는 점을 밝혔다.

핵심 기여는 다음과 같다. (1) 멀티에이전트 추론을 ‘합의 형성’ 문제로 재정의하고, 신뢰‑가중 테이블을 통한 구조화된 메모리 메커니즘을 제시했다. (2) 과학·공학 분야의 복합 추론 요구를 반영한 두 개의 새로운 평가 벤치마크를 구축했다. (3) 파라미터 수정 없이 블랙박스 LLM만으로도 신뢰성·일관성을 크게 향상시킬 수 있음을 실증했다.

전반적으로 라운드테이블 정책은 “투명하고 해석 가능한” 멀티에이전트 협업을 가능하게 하며, 특히 과학적 사실 검증, 장기 서술 생성, 다도메인 지식 통합이 필요한 실무 환경에 적용 가능성이 높다.