멀티에이전트 정보 흐름 최적화를 위한 테스트‑타임 정정·제거 프레임워크

초록

AgentDropoutV2는 사전 재학습 없이 멀티에이전트 시스템(MAS)의 출력 오류를 실시간으로 탐지·정정하고, 복구 불가능한 경우 해당 출력을 차단하는 테스트‑타임 프루닝 기법이다. 실패 패턴을 distilled indicator pool에 저장하고, retrieval‑augmented rectifier를 통해 오류를 단계적으로 교정한다. 실험 결과, 수학 벤치마크에서 평균 정확도가 6.3%p 상승했으며, 과제 난이도에 따라 정정 강도를 동적으로 조절하는 적응성을 보였다.

상세 분석

AgentDropoutV2는 기존 MAS에서 발생하는 오류 전파 문제를 “정정‑또는‑제거”라는 이분법적 접근으로 해결한다는 점에서 혁신적이다. 핵심 구성 요소는 (1) 실패‑구동 지표 풀(failure‑driven indicator pool)이며, 이는 다양한 오류 유형을 distilled pattern 형태로 압축해 저장한다. 이 풀은 사전 학습된 retrieval‑augmented 모델에 의해 실시간 쿼리되며, 현재 에이전트 출력과 가장 유사한 실패 패턴을 찾아낸다. (2) 정정기(rectifier)는 검색된 패턴을 프롬프트에 삽입해 LLM 기반 에이전트에게 교정된 답변을 재생성하도록 유도한다. 정정이 일정 횟수 이상 성공하지 못하면, (3) 차단기(pruner)가 해당 출력을 완전히 폐기하고, 사전 정의된 fallback 전략(예: 기본 모델 출력, 혹은 인간 검증)으로 대체한다. 이 과정은 전형적인 fine‑tuning 없이 테스트 단계에서만 수행되므로 연산 비용이 크게 절감된다. 또한, 정정 강도와 차단 임계값을 과제 난이도와 오류 심각도에 따라 동적으로 조정함으로써, 쉬운 문제에서는 최소한의 개입으로 원본 성능을 유지하고, 어려운 문제에서는 적극적인 정정·제거를 적용한다. 실험에서는 수학 문제 풀이, 증명 생성, 그리고 복합 연산 문제 등 8개의 공개 벤치마크에서 평균 6.3%p의 정확도 향상을 기록했으며, 특히 고난이도 문제에서 정정 성공률이 78%에 달했다. Ablation study를 통해 indicator pool의 크기와 정정 반복 횟수가 성능에 미치는 영향을 분석했으며, 적절한 풀 크기(≈2k 패턴)와 3회 반복이 최적임을 확인했다. 전반적으로 AgentDropoutV2는 MAS의 오류 전파를 근본적으로 차단하면서도, 기존 모델의 파라미터를 건드리지 않는 실용적인 솔루션으로 평가된다.