다중 에이전트 LLM에서 신뢰를 구축하는 새로운 패러다임, 에피스테믹 컨텍스트 러닝

초록

본 논문은 다중 에이전트 시스템에서 개별 LLM이 동료의 신뢰성을 과거 상호작용을 통해 평가하도록 설계한 “에피스테믹 컨텍스트 러닝(ECL)” 프레임워크를 제안한다. 역사‑인식 레퍼런스를 도입해 신뢰 추정과 최종 추론을 분리하고, 보조 보상을 활용한 강화학습으로 최적화한다. 실험 결과, 4B 규모 모델이 30B 모델을 능가하고, 최첨단 모델도 거의 완벽한 정확도를 달성한다.

상세 분석

이 연구는 다중 에이전트(LM‑MA) 환경에서 발생하는 두 가지 근본적인 취약점을 정확히 짚어낸다. 첫째, ‘시코팬시(sycophancy)’라 불리는 과도한 동조 현상으로, 에이전트가 현재 질문에 대한 자체 지식이 부족할 때 다수 의견에 무비판적으로 따르는 경향이 있다. 둘째, 동료 에이전트의 신뢰성을 과거 행동 기록을 통해 평가하지 못하는 ‘역사적 신뢰 부재(Lack of Historical Trust)’이다. 기존 방법들은 현재 라운드의 답변만을 이용해 단순 집계하거나, 보상 기반 학습으로만 성능을 끌어올리려 했지만, 이는 신뢰 추정 메커니즘을 전혀 제공하지 못한다.

논문은 이를 해결하기 위해 “역사‑인식 레퍼런스(history‑aware reference)”라는 새로운 문제 정의를 제시한다. 여기서는 각 에이전트가 (Q_j, Y_j, H_j) 형태의 데이터셋을 받으며, H_j는 과거 T_j 라운드의 질문‑답변 쌍을 포함한다. 현재 라운드에서 에이전트 A_curr는 H_j와 현재 질문 Q_j, 그리고 동료들의 현재 답변 R_j를 모두 조건으로 삼아 최종 답변 Ŷ_j를 생성한다. 핵심은 H_j를 통해 ‘누가 일관되게 정확한 답을 제공했는가’를 학습함으로써, 현재 라운드에서 신뢰도가 낮은 동료의 영향을 최소화하는 것이다.

ECL 프레임워크는 두 단계로 구성된다. 1) 신뢰 추정 단계에서는 과거 상호작용을 입력으로 받아 각 동료에 대한 ‘역사적 신뢰 점수’를 출력한다. 이 단계는 별도의 ‘신뢰 모델(Critic)’을 두어, 과거 정답률, 일관성, 답변 길이, 논리적 구조 등을 특징으로 활용한다. 2) 최종 추론 단계에서는 추정된 신뢰 점수를 가중치로 사용해 동료들의 현재 답변을 통합하고, 자체 내부 사유(self‑thinking)를 결합해 최종 답을 생성한다. 두 단계가 명확히 분리됨으로써 모델이 현재 라운드의 표면적 설득력에 휘둘리지 않고, 역사적 증거에 기반한 판단을 내리게 된다.

또한 논문은 보조 보상(auxiliary rewards)을 도입한 강화학습(RL) 최적화를 제안한다. 기본 보상은 정답 정확도이며, 추가 보상은 (1) 신뢰 추정 정확도, (2) 신뢰 점수와 실제 동료 성능 간의 상관관계, (3) 과도한 동조를 억제하는 ‘다양성 보상(diversity reward)’ 등이다. 이러한 다중 보상 설계는 모델이 신뢰 추정과 최종 답변 생성 사이의 균형을 스스로 학습하도록 유도한다.

실험에서는 Qwen 3‑4B, Llama 3.2‑3B 등 소형 모델부터 최신 대형 모델까지 다양한 규모를 테스트했다. ‘Math500’과 ‘LiveCode’라는 두 도메인 별 벤치마크에서, ECL을 적용한 4B 모델이 30B 모델보다 8배 높은 정확도를 기록했으며, 대형 모델은 100%에 근접하는 정확도를 달성했다. 특히 ‘Flip’ 실험(과거 신뢰 높은 동료가 현재는 틀린 답을 제공)과 ‘All‑Wrong’ 실험(모든 동료가 틀린 답을 제공)에서 ECL 모델은 기존 방법보다 현저히 적은 성능 저하를 보이며, 역사적 신뢰를 실제로 활용함을 입증했다.

추가 분석에서는 (1) 신뢰 점수와 최종 정확도 간의 높은 상관관계, (2) 다양한 MA 구성(동료 수, 질문 난이도, 도메인 전이)에서도 일관된 성능 향상, (3) 모델 크기와 무관하게 ‘역사‑인식 레퍼런스’가 핵심적인 성능 향상 요인임을 확인했다. 이러한 결과는 LLM 기반 다중 에이전트 시스템에서 ‘누구에게 귀를 기울일 것인가’를 명시적으로 모델링하는 것이, 단순히 ‘무엇을 말하는가’를 평가하는 것보다 훨씬 효과적임을 시사한다.

결론적으로, 본 연구는 다중 에이전트 LLM이 신뢰 기반 의사결정을 수행하도록 하는 구조적·학습적 혁신을 제공한다. 이는 향후 복잡한 과학적 탐구, 의료 진단, 법률 자문 등 높은 신뢰성이 요구되는 분야에서 LLM‑MA 시스템의 실용성을 크게 확대할 것으로 기대된다.