도메인 특화 노드로 자동 멀티에이전트 시스템 강화

초록

Unified-MAS는 외부 지식을 활용해 도메인‑특화 노드를 오프라인으로 합성하고, 퍼플렉시티 기반 보상으로 노드 내부 로직을 반복 최적화한다. 이를 기존 자동 MAS에 삽입하면 의료·법률·금융 등 전문 분야에서 성능을 평균 14 % 이상 향상시키면서 비용을 절감한다.

상세 분석

Unified‑MAS는 자동 MAS 설계의 두 가지 근본적인 병목을 동시에 해소한다. 첫 번째는 오케스트레이터가 내부 파라미터 한계에 묶여 도메인 지식을 충분히 반영하지 못한다는 점이다. 이를 위해 논문은 “검색 기반 노드 생성(Search‑Based Node Generation)” 단계에서 다차원 키워드 추출 → 전략‑별 쿼리 합성 → 구글·GitHub·Google Scholar 등 외부 엔진을 통한 다중 회전 검색을 수행한다. 이렇게 얻은 배경 지식, 아키텍처 패턴, 구현 코드, 평가 메트릭을 요약하고, LLM에게 도메인‑특화 노드 블루프린트를 생성하도록 프롬프트한다. 결과적으로 V_init이라는 초기 노드 집합이 도메인 전문가 수준의 프롬프트와 툴 사양을 포함한다.

두 번째 병목은 생성된 노드가 논리적으로 얇고 오류 전파에 취약하다는 점이다. 논문은 이를 “보상 기반 노드 최적화(Reward‑Based Node Optimization)” 단계에서 퍼플렉시티‑가이드 보상을 도입해 해결한다. 각 노드 실행 시 얻은 퍼플렉시티 점수를 역으로 보상으로 변환해, 높은 퍼플렉시티(불안정) 노드를 병목으로 식별한다. 이후 해당 노드의 프롬프트 제약, 서브‑에이전트 호출 등을 반복적으로 수정하고, 개선된 노드가 다시 평가되면서 보상이 상승한다. 이 과정을 여러 번 반복함으로써 초기의 거친 설계가 점진적으로 견고한 추론 모듈로 전환된다.

실험에서는 TravelPlanner, HealthBench, J1Bench, DeepFund 네 개의 전문 벤치마크에 Unified‑MAS를 적용하고, MAS‑Zero, AFlow, ScoreFlow, MAS‑2 네 가지 기존 자동 MAS 프레임워크와 결합하였다. 모든 조합에서 평균 8 %~14 %의 정확도 향상과 동시에 토큰 사용량·API 호출 비용이 10 %~20 % 감소했다. 특히 도메인 LLM(예: 의료용 BioGPT)과 일반 LLM(GPT‑4) 모두에서 일관된 성능 개선을 보였으며, 수학 문제 풀이와 같은 일반 영역에서도 이점이 확인되었다.

또한, 퍼플렉시티 보상의 효율성을 검증하기 위해 보상 함수 없이 단순 fine‑tuning만 적용한 대조군을 설정했는데, 이 경우 성능 향상이 2 % 이하에 머물렀다. 이는 퍼플렉시티가 노드 내부 논리의 불확실성을 정량화하고, 목표 지표와 직접 연결되는 효과적인 신호임을 시사한다.

논문은 기존 자동 MAS가 “정적 일반 노드”에 의존하거나 “동적 노드 생성”에 오케스트레이터를 과도하게 결합하는 두 패러다임의 한계를 명확히 진단하고, 오프라인 노드 합성과 온라인 토폴로지 탐색을 명확히 분리함으로써 설계 공간을 V_fixed → V_domain 으로 확장한다는 이론적 기여도 제시한다.