에이맵리듀스로 와이드 서치 실행

초록

본 논문은 대규모 LLM 기반 멀티에이전트 시스템이 직면하는 “와이드 서치” 문제를 해결하기 위해 MapReduce 개념을 차용한 A‑MapReduce 프레임워크를 제안한다. 작업을 수평적으로 분해·배치하고, 경험 메모리를 활용해 쿼리‑조건부 실행 결정을 지속적으로 진화시킴으로써, 기존 수직적 재귀 추론 방식보다 높은 정확도와 45 % 이상의 실행 시간 절감, 비용 효율성을 달성한다.

상세 분석

A‑MapReduce는 전통적인 멀티에이전트 시스템이 “깊은 탐색”에 최적화된 수직적 재귀 구조에 머무는 한계를 인식하고, 와이드 서치라는 대규모·다양한 엔터티를 동시에 탐색해야 하는 상황을 수평적 구조로 재구성한다. 핵심 아이디어는 세 가지 요소로 구성된다. 첫째, 쿼리 q에 대해 고수준 실행 결정 Θ = (M_q, P_q, B_q)를 샘플링한다. 여기서 M_q는 알려진 속성만을 포함한 엔터티 매트릭스, P_q는 매트릭스 행을 채워 원자적 검색 프롬프트를 생성하는 템플릿, B_q는 배치 전략(원자별, 속성별, 적응형 등)을 정의한다. 둘째, M_q와 P_q를 이용해 T(q) = {t_i}라는 원자적 검색 작업 집합을 만든 뒤, B_q에 따라 작업을 m개의 배치 B_at^k로 분할한다. 각 배치는 독립적인 검색 에이전트 A_search^k에 할당되어 병렬 실행되며, 결과 ˆY_k는 부분 테이블 형태로 반환된다. 셋째, 매니저 에이전트 A_manage가 이 부분 테이블들을 스키마 S에 맞춰 정합성을 검증하고, 누락·중복이 발견되면 경량화된 delta‑patch 과정을 통해 재수정한다.

A‑MapReduce는 이러한 실행 흐름을 경험 메모리 M = {D, H, F_ψ}와 결합한다. D는 (쿼리, 결정, 실행 궤적, 유틸리티) 튜플을 저장하고, H는 과거 실행에서 추출된 힌트(예: 최적 배치 크기, 효율적인 템플릿 패턴)를 보관한다. F_ψ는 힌트를 정제·집계하는 연산자로, 새로운 쿼리의 Θ 샘플링 시 힌트의 가중치 w_h를 활용해 고유틸리티 영역으로 확률을 편향한다. 이렇게 쿼리‑조건부 경험 기반 진화를 적용하면, 초기에는 탐색 비용이 높더라도 시간이 지남에 따라 비용‑품질 트레이드오프가 최적화된다.

실험에서는 OpenAI o3와 Gemini 2.5 Pro를 백본으로 사용해 다섯 개 벤치마크(WideSearch, DeepWideSearch 등)에서 평균 Item‑F1을 5.11 %~17.50 % 향상시켰으며, 실행 시간은 기존 멀티에이전트 프레임워크 대비 45.8 % 감소했다. 비용 측면에서도 평균 $1.10 절감 효과를 보였다. 코드와 데이터는 공개되어 재현 가능성을 확보하였다.

이러한 설계는 와이드 서치가 요구하는 대규모 엔터티 커버리지와 구조화된 결과 집계에 적합하며, 경험 기반 파라미터 튜닝을 통해 다양한 도메인에 쉽게 확장할 수 있다는 장점을 가진다.