적응형 병렬 협업을 통한 대규모 문서 이해 혁신

초록

본 논문은 LLM 기반 다중 에이전트 시스템에 동적 작업 라우팅, 양방향 피드백, 그리고 병렬 에이전트 평가라는 세 가지 핵심 메커니즘을 도입해, 정적 워크플로우의 한계를 극복하고 금융 10‑K 보고서와 같은 고위험·고복잡도 문서 분석에서 정확도와 효율성을 크게 향상시킨다.

상세 분석

이 연구는 기존 다중 에이전트 프레임워크가 고정된 역할과 일방향 흐름에 머물러, 입력이 불완전하거나 작업 목표가 변동하는 상황에서 오류 전파와 성능 저하가 발생한다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 제안된 세 가지 적응 메커니즘은 서로 보완적인 역할을 수행한다. 첫째, 동적 작업 라우팅은 각 서브태스크에 대한 에이전트의 자신감(confidence), 현재 워크로드, 그리고 과거 성능 메트릭을 실시간으로 평가해 가장 적합한 에이전트에게 재할당한다. 이 과정은 작업 그래프의 의존성을 유지하면서도 병목 현상을 최소화한다. 둘째, 양방향 피드백 루프는 하위 에이전트가 상위 에이전트에게 구조화된 비판(critique)과 수정 요청을 전송하도록 설계돼, 전체 파이프라인을 재실행하지 않고도 오류를 즉시 교정한다. 피드백은 비동기 메시지 버스를 통해 전달되며, 각 메시지는 대상 출력과 문제점을 명시적으로 태깅한다. 셋째, **병렬 에이전트 평가(Parallel Agent Evaluation)**는 고불확실성 서브태스크에 대해 동일한 작업을 여러 에이전트가 독립적으로 수행하도록 하고, 중앙 평가자가 사실성, 일관성, 도메인 적합성을 정량화한 점수(E)로 가장 우수한 결과를 선택한다. 평가 함수는 사실성(𝑤_f·S_fact), 일관성(𝑤_c·S_coh), 관련성(𝑤_r·S_rel)의 가중합으로 구성되며, 금융 규제 문서와 같이 정확도가 최우선인 도메인에서는 사실성 가중치를 0.5로 높게 설정한다. 이러한 구조적 경쟁은 단일 에이전트가 놓칠 수 있는 미묘한 해석 차이를 보완하고, 대안 출력을 메모리에 보관해 감사 추적(audit trail)과 fallback 메커니즘을 제공한다.

실험에서는 SEC 10‑K 보고서를 대상으로 세 가지 시스템 변형(정적 베이스라인, 동적 라우팅·피드백만 적용, 전체 적응형 시스템)을 비교했다. 전체 시스템은 사실 커버리지 0.92, 규정 준수 정확도 0.94를 달성했으며, 이는 정적 베이스라인 대비 27%·74%의 개선을 의미한다. 또한, 기존 LangGraph 기반 감독 패턴 대비 14%의 정확도 향상을 보였고, 재작성률과 중복 패널티가 각각 70%·73% 감소했다. 정성 평가에서도 인간 평가자들이 일관성·논리 구조 측면에서 높은 점수를 부여했다.

이 논문은 **구조적 경쟁(parallel competition)**과 **실시간 적응(dynamic adaptation)**을 결합함으로써, LLM 에이전트가 고위험·고복잡도 작업에서 인간 수준에 근접하는 신뢰성을 확보할 수 있음을 실증한다. 특히, 공유 메모리와 피드백 버스라는 모듈식 설계는 도메인 확장성을 보장해, 금융 외에도 의료 기록, 법률 문서 등 다양한 분야에 적용 가능하다.