다중 LLM 에이전트 기반 토론형 주장 검증

초록

DebateCV는 두 명의 LLM 디베이터와 하나의 모더레이터가 다라운 다중 라운드 토론을 통해 복합적인 증거를 분석하고, Debate‑SFT라는 합성 데이터 기반 사후 학습 기법으로 모더레이터의 판단력을 강화한다. 실험 결과, 기존 단일‑에이전트 방식보다 정확도와 정당성 설명 모두에서 우수함을 보였다.

상세 분석

본 논문은 자동화된 주장 검증(Claim Verification) 분야에서 기존의 단일 LLM 기반 RAG(Retrieval‑Augmented Generation) 접근법이 복합 증거를 충분히 활용하지 못한다는 한계를 지적한다. 실제 사실 검증 기관이 ‘스타 체임버’ 형태의 토론을 통해 서로의 판단을 검증하는 방식을 차용해, 두 명의 디베이터(긍정·부정)와 하나의 모더레이터가 역할을 분담하는 DebateCV 프레임워크를 설계하였다. 디베이터는 동일한 증거 집합 E를 공유하면서 각각 주장에 찬성·반대 입장을 근거 중심으로 전개하고, 라운드마다 모더레이터는 양측의 핵심 논점을 요약(S_t)하고 토론 수렴 여부를 판단한다. 토론이 종료되면 모더레이터는 전체 논증을 종합해 최종 판정(지원, 반박, 증거 부족, 상충 증거)과 정당성을 제공한다.

핵심 기술적 기여는 다음과 같다. 첫째, zero‑shot LLM을 디베이터 역할에 그대로 적용했을 때는 충분히 설득력 있는 논증을 생성하지만, 모더레이터는 중립적 판정(증거 부족 등)으로 편향되는 ‘컨포머티티 바이어스’를 보인다. 둘째, 이를 해결하기 위해 합성 토론 데이터셋 SynDeC를 자동 생성한다. 기존 비토론형 주장 검증 데이터(C, Y, E)를 입력으로, zero‑shot DebateCV를 실행해 다라운 토론 기록(D)과 초기 모더레이터 판정(ˆY, ˆJ)을 얻고, 인간 라벨과 불일치 시 LLM 기반 ‘Corrector’를 활용해 정답에 맞는 정당성을 재작성한다. 이렇게 정제된 (D, Y, J) 쌍을 이용해 모더레이터를 SFT(Supervised Fine‑Tuning)함으로써, 복합 증거와 다중 라운드 논증을 효과적으로 종합하는 능력을 획득한다.

실험에서는 다양한 증거 품질(완전, 부분, 부족) 조건에서 DebateCV+Debate‑SFT가 기존 최첨단 비토론 모델 대비 2.6~5.8%p의 정확도 향상을 보였으며, 인간 평가를 통해 정당성 설명의 풍부함과 투명성에서도 유의미한 개선을 확인했다. 특히, 단일 에이전트가 놓치기 쉬운 ‘증거 오해’, ‘증거 누락’, ‘추론 과잉’ 등을 토론 과정을 통해 교정하는 사례가 제시된다.

또한, 논문은 토론 기반 사후 학습이 사실 검증 외에도 스탠스 감지, 허위 정보 탐지 등 다중 에이전트가 협업해야 하는 다른 NLP 과제에 확장 가능함을 시사한다. 다만, 합성 데이터의 품질에 의존하는 한계와 모더레이터의 라운드 수 제한(T_max) 설정에 따른 성능 변동이 존재함을 언급한다. 전반적으로, 다중 LLM 에이전트 간의 구조화된 토론 메커니즘과 합성 데이터 기반 사후 학습이라는 두 축을 통해 주장 검증의 정확도와 설명 가능성을 동시에 끌어올린 혁신적 접근이라 평가할 수 있다.