법정 스타일 다중 에이전트 논쟁과 진행형 RAG 기반 논란 주장 검증

본 논문은 대규모 언어 모델(LLM)이 고위험 분야, 특히 주장 검증 작업에서 발생하는 환각과 얕은 추론 문제를 해결하고자, 법정 절차를 모방한 다중 에이전트 프레임워크인 PROClaim을 제안한다. PROClaim은 원고(플레인티프), 피고(디펜스), 판사(다중 재판관), 비평가, 전문가 증인 등 서로 다른 역할을 수행하는 여러 LLM을 배치하고, 진행형 검색‑증강 생성(P‑RAG) 메커니즘을 통해 토론 진행 중에 증거를 지속적으로 확장·정제한다. 1. **주장 전처리와 전제 분해** 입력된 주장 문장은 원자적 전제로 분해된다. 전제는 각각 독립적인 검증 대상이 되며, 이후 증거 검색 시 구체적인 쿼리로 활용된다. 전제 수는 고정되지 않아 복잡한 주장일수록 더 많은 전제가 생성된다. 2. **초기 증거 검색** FAISS 기반의 밀집 벡터 인덱스와 all‑MiniLM‑L6‑v2 모델을 이용해 COVID‑19 관련 PubMed 초록을 검색한다. 검색 결과는 관련성(r)과 신뢰성(c)을 곱한 가중치 w로 평가되며, w>0.5인 경우만 증거 풀에 입증된다. 이는 법학에서 사용되는 Daubert 기준을 데이터 기반으로 구현한 것으로, 단순 텍스트 매칭을 넘어 과학적 엄밀성을 반영한다. 3. **증거 협상 및 입증 가중치** 원고와 피고는 각각 ‘지원’·‘반박’ 쿼리를 생성해 별도의 증거 풀을 만든 뒤, 서로의 풀을 공개한다. 각 증거는 입증 가중치 w에 따라 ‘입증’, ‘분쟁’, ‘폐기’로 구분되고, 판사는 이를 검토해 최종 증거 풀에 포함시킨다. 4. **Progressive Retrieval‑Augmented Generation (P‑RAG)** 기존 RAG가 한 번의 정적 검색에 머무는 반면, P‑RAG는 매 라운드마다 (① 최근 대화 4개 메시지, ② 에이전트가 인식한 증거 공백, ③ 이전 라운드 자기반성에서 도출된 발견 요구) 를 하나의 프롬프트에 결합한다. 판사는 이를 기반으로 쿼리를 다듬고, 중복성(코사인 유사도 <0.2)과 수익성(관련도 증가 <0.05) 기준을 만족하는 경우에만 새로운 증거를 추가한다. 최대 10라운드 혹은 조기 종료 조건이 충족될 때까지 반복된다. 5. **다중 에이전트 토론 흐름** - **증거 발견**: 원고·피고가 각각 증거 공백을 탐색하고, 판사가 쿼리를 다듬어 P‑RAG를 실행한다. - **논증 생성**: 각 에이전트는 현재 증거 풀과 대화 기록을 바탕으로 구조화된 법적 논증을 만든다. - **전문가 증인 호출**: 필요 시 판사가 도메인 전문가(예: 의학 전문가) 에이전트를 동적으로 생성해 증언을 받는다. - **자기반성**: 각 에이전트는 논리성(l), 신규성(n), 반박성(b) 점수를 산출하고, 이를 다음 라운드의 P‑RAG 쿼리와 최종 신뢰도 보정에 활용한다. - **비평가 평가**: 독립적인 비평가 에이전트가 두 논증을 평가하고, 모든 전제가 충분히 다루어졌다면 토론을 조기에 종료한다. 6. **역할 전환 일관성 테스트** 원고와 피고의 역할을 교환하고, 동일한 증거 풀과 토론 과정을 다시 실행한다. 두 토론 간 논리·증거 사용 차이를 분석해 일관성 점수를 산출하고, 이는 최종 신뢰도에 가중치로 반영된다. 이는 에이전트가 입장에 얽매이지 않고 증거 기반으로 논증을 구성했는지를 검증하는 메커니즘이다. 7. **판결 및 신뢰도 계산** 서로 다른 모델(DeepSeek‑r1, DeepSeek‑v3.2, Qwen‑3, Hermes‑3‑Llama 등)로 구성된 3인 재판관 패널이 증거 강도, 논증 타당성, 출처 신뢰성 등을 10점 척도로 평가한다. 다수결로 최종 Verdict(지원, 비지원, 불확실)를 결정하고, 합의 강도(σ)와 판사 품질 점수(q)를 이용해 베이스 신뢰도(c_base)를 산출한다. 이후 역할 전환 보정(δ_rs)과 자기반성 보정(δ_ref)을 더해 최종 신뢰도(c_final)를 계산한다. 8. **실험 및 결과** Check‑COVID 벤치마크(코로나 관련 사실 검증)에서 PROClaim은 81.7% 정확도를 기록했으며, 기존 다중 에이전트 토론 대비 10%p, P‑RAG 단독 대비 7.5%p 향상을 보였다. P‑RAG를 제거하면 판사 간 κ(동의도)가 0.468→0.599로 상승하지만 정확도가 7.5%p 감소해, 높은 합의가 반드시 정확성을 의미하지 않음을 확인했다. 모델 이질성(heterogeneity)은 3.3%p의 추가 이득을 제공했으며, 자기반성 메커니즘으로 라운드 수가 29% 감소하고 토큰 사용량이 17% 절감되는 효율성도 입증했다. 9. **주요 기여** - 법정 구조를 차용해 토론을 강제적으로 구조화하고, 증거 탐색·논증 과정을 단계별로 감독한다. - P‑RAG를 통해 토론 진행 중에 발생하는 증거 공백을 실시간으로 메꾸어, 정적 검색의 한계를 극복한다. - 자기반성·역할 전환을 통한 신뢰도 보정으로 모델의 과신을 억제하고, 결과의 견고성을 높인다. - 모델 이질성을 활용해 서로 다른 오류 패턴을 상쇄함으로써 전체 시스템의 정확도를 향상시킨다. 결론적으로 PROClaim은 구조화된 다중 에이전트 토론, 진행형 증거 검색, 자기반성 및 역할 전환 검증이라는 네 축을 결합해 LLM 기반 사실 검증의 신뢰성을 크게 향상시켰으며, 향후 다른 도메인에도 일반화 가능한 프레임워크로 기대된다.