다중에이전트 토론으로 완전한 IR 라벨링 구현

초록

**
본 논문은 LLM 기반의 다중에이전트 토론 프레임워크 DREAM을 제안한다. 두 개의 LLM이 초기에는 ‘관련’과 ‘비관련’이라는 상반된 입장을 갖고 다중 라운드 토론을 진행해 상호 비판·수정을 반복한다. 에이전트가 합의에 도달하면 자동 라벨을 부여하고, 지속적인 불일치가 발생하면 토론 기록과 함께 인간에게 에스컬레이션한다. 실험 결과, 전체 라벨링 정확도 95.2%를 달성하면서 인간 개입을 3.5% 수준으로 크게 감소시켰다. DREAM을 이용해 기존 BEIR·RobustQA 벤치마크에 누락된 29,824개의 관련 청크를 보완한 BRIDGE 데이터셋을 구축했으며, 이를 통해 검색기 성능 순위와 RAG 시스템의 검색‑생성 정합성 평가가 크게 개선됨을 보였다.

**

상세 분석

**
DREAM은 기존 단일 LLM 혹은 confidence‑based 하이브리드 방식이 갖는 ‘과신(overconfidence)’과 ‘신뢰도 캘리브레이션’ 문제를 근본적으로 회피한다는 점에서 혁신적이다. 두 에이전트를 ‘관련’과 ‘비관련’이라는 반대 입장으로 초기화함으로써 초기 편향을 강제로 드러내고, 각 라운드에서 상대방의 주장과 증거를 비판·재구성하도록 설계했다. 이 과정에서 에이전트는 자체적인 근거와 상대방의 근거를 모두 검토하고, 새로운 라벨과 설명을 생성한다. 합의가 이루어지면 즉시 라벨을 확정하고, 합의가 이루어지지 않을 경우 사전 정의된 라운드(R)까지 토론을 이어간다. 토론 기록은 인간에게 전달되는 ‘증거 기반’ 히스토리로 활용돼, 인간이 처음부터 판단을 내리는 것이 아니라 에이전트가 제시한 논증 흐름을 검토하면서 보다 정확한 결정을 내릴 수 있게 한다.

실험에서는 700개의 쿼리‑청크 쌍을 무작위 추출해 DREAM과 기존 자동 라벨링(UMBRELA, D‑MERIT 등) 및 confidence‑based 하이브리드(LARA)와 비교하였다. DREAM은 2라운드 내에 84%의 경우에서 합의를 도출했으며, 전체 라벨링 정확도는 95.2%에 달했다. 인간 개입은 전체 사례의 3.5%에 불과했으며, 이때도 토론 히스토리를 제공받은 인간 라벨러는 평균 12% 높은 정확도를 기록했다.

BRIDGE 구축 단계에서는 BEIR와 RobustQA 두 벤치마크에 DREAM을 적용해 ‘홀(hole)’이라 불리는 라벨이 없는 청크를 탐색·라벨링했다. 결과적으로 기존에 라벨링된 6,976개의 골드 청크 대비 428%에 해당하는 29,824개의 누락 청크를 추가함으로써 평가 편향을 크게 감소시켰다. 이를 바탕으로 재평가한 검색기들은 기존 순위와 차이가 발생했으며, 특히 dense retriever와 sparse retriever 간 상대적 성능 차이가 완화되었다. RAG 실험에서는 검색 성능이 향상돼도 생성 성능이 그대로 따라오지 않는 현상이 ‘검색‑생성 불일치’를 초래한다는 기존 가설에 더해, 라벨링 누락이 이러한 불일치의 주요 원인 중 하나임을 실증했다.

한계점으로는 (1) 두 에이전트만을 사용했을 때 복잡한 논증 구조를 충분히 포착하지 못할 가능성, (2) 토론 라운드 수와 에이전트 모델 크기에 따른 비용·시간 증가, (3) 인간 에스컬레이션 시 여전히 라벨러의 주관성이 남아 있다는 점을 들 수 있다. 향후 연구에서는 에이전트 수를 확대해 다중 의견 집합을 형성하거나, 토론 전략을 메타‑학습으로 자동 최적화하는 방안을 모색할 수 있다. 또한, 토론 기록을 활용한 인간 라벨러 교육 및 인터페이스 설계가 라벨링 파이프라인 전체의 효율성을 더욱 높일 것으로 기대된다.

**