멀티에이전트 시각추론을 위한 학습형 계층 자동화 시스템 MATA

초록

MATA는 시각추론을 위해 여러 전문 에이전트를 상태로 갖는 계층적 유한 상태 자동자를 설계하고, 상위의 하이퍼 에이전트가 LLM 기반으로 다음 에이전트를 선택하도록 학습한다. 각 에이전트는 규칙 기반 서브 자동자로 미세 제어를 수행하고, 공유 메모리를 통해 투명한 실행 기록을 남긴다. 전이 트리와 메모리‑다음‑상태 쌍을 이용해 만든 MATA‑SFT‑90K 데이터로 하이퍼 에이전트를 지도학습하고, 다양한 시각추론 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

본 논문은 최근 비전‑언어 모델(VLM)이 뛰어난 인식 능력을 보이지만, 내부 추론 과정이 블랙박스이며 복잡한 질의에 대해 환각을 일으키는 문제점을 지적한다. 이를 해결하기 위해 저자들은 ‘계층적 유한 상태 자동자(Hierarchical Finite‑State Automaton)’라는 프레임워크를 도입한다. 자동자의 최상위 레벨은 ‘하이퍼 에이전트’가 담당하며, 이는 현재 공유 메모리 스냅샷을 입력으로 받아 다음에 활성화할 에이전트를 선택하는 전이 함수 δθ 를 학습한다. 하이퍼 에이전트는 대규모 언어 모델(LLM)을 파인튜닝한 형태로, 질의 내용과 각 에이전트의 역량을 동시에 고려해 최적의 경로를 결정한다.

하위 레벨의 각 에이전트는 ‘전문가 에이전트(Specialized Agent)’, ‘원샷 추론기(Oneshot Reasoner)’, ‘단계별 추론기(Stepwise Reasoner)’ 등으로 구성된다. 이들은 모두 작은 규칙 기반 서브 자동자를 내장하고 있어, 내부의 LLM/VLM 호출, 코드 실행, 검증기 피드백 등 세부 작업을 확정된 절차에 따라 수행한다. 이러한 설계는 에이전트 내부의 미세 제어를 인간이 직접 설계한 규칙으로 안정화하면서도, 에이전트 간 전이는 데이터‑드리븐 방식으로 유연하게 학습할 수 있게 한다.

핵심적인 학습 데이터는 ‘전이‑트래젝터리 트리(Transition‑Trajectory Tree)’를 통해 자동 생성된다. 이미지‑질의 쌍에 대해 시스템을 전부 실행해 가능한 전이 경로를 탐색하고, 각 리프 노드에 실제 태스크 성능 점수를 부여한다. 이후 각 노드의 메모리 상태와 가장 높은 점수를 얻은 자식 노드를 매핑해 ‘메모리 → 다음 상태’ 쌍을 만든다. 이렇게 90K 규모의 (memory, next‑state) 데이터셋인 MATA‑SFT‑90K를 구축하고, 이를 이용해 하이퍼 에이전트를 지도학습한다. 이 과정은 전이 정책을 명시적으로 학습하게 함으로써, 기존의 수동 규칙 기반 전이 선택보다 더 정확하고 상황에 맞는 에이전트 전환을 가능하게 한다.

실험에서는 VQA, GQA, Visual Grounding, Referring Expression Comprehension 등 다양한 시각추론 벤치마크에 MATA를 적용하였다. 결과는 단일 에이전트 기반 모델이나 기존의 고정 파이프라인 방식보다 일관되게 높은 정확도와 낮은 오류 전파율을 보였다. 특히 복잡한 다단계 추론이 요구되는 질문에 대해 ‘Stepwise Reasoner’를 적절히 호출하고, 초기 인식 단계에서 ‘Specialized Agent’를 활용하는 등, 하이퍼 에이전트가 상황에 맞는 에이전트를 동적으로 선택함으로써 성능 향상이 두드러졌다. 추가적인 ablation 연구에서는 (1) 하이퍼 에이전트 없이 고정 전이 규칙을 사용했을 때 성능 저하, (2) 서브 자동자를 규칙 기반이 아닌 학습 기반으로 교체했을 때 투명성 및 안정성 감소를 확인하였다.

이 논문의 주요 기여는 다음과 같다. 첫째, 시각추론을 위한 명시적 상태 머신과 학습형 전이 정책을 결합한 새로운 시스템 아키텍처를 제시했다. 둘째, 전이‑트래젝터리 기반 데이터 생성 파이프라인과 대규모 지도학습 데이터셋(MATA‑SFT‑90K)을 공개함으로써 하이퍼 에이전트 학습을 가능하게 했다. 셋째, 협업과 경쟁을 동시에 지원하는 다중 에이전트 설계가 복잡한 시각질의에 대해 더 높은 신뢰성과 해석 가능성을 제공함을 실험적으로 입증했다. 마지막으로, 코드와 데이터셋을 공개함으로써 향후 연구자들이 이 프레임워크를 확장하거나 다른 도메인에 적용할 수 있는 기반을 마련했다.

전체적으로 MATA는 ‘시스템 1(빠른 인식)‑시스템 2(느린 논리)’의 이중구조를 자동화된 상태 전이와 결합해, 인간이 설계한 파이프라인의 경직성을 극복하고, 데이터‑드리븐 방식으로 에이전트 간 협업·경쟁을 조율한다는 점에서 시각추론 분야의 중요한 전환점을 제공한다.