에이전트흑백 변환: AgentXRay로 블랙박스 LLM 에이전트 워크플로우를 백색화하기

초록

본 논문은 대형 언어 모델 기반 에이전트 시스템을 입력‑출력 인터페이스만으로 관찰해, 동일한 기능을 수행하는 해석 가능한 워크플로우를 자동으로 재구성하는 새로운 과제인 Agentic Workflow Reconstruction(AWR)을 제안한다. 이를 위해 저자들은 이산형 에이전트·툴 프리미티브를 순차적 체인 형태로 탐색하는 MCTS 기반 프레임워크 AgentXRay를 설계하고, 탐색 효율을 높이는 Red‑Black Pruning 기법을 도입하였다. 다양한 도메인(코드 생성, 데이터 분석, 교육, 3D 모델링, 과학 컴퓨팅)에서 실험한 결과, AgentXRay는 기존 베이스라인 대비 출력 유사도와 토큰 사용 효율 모두 크게 개선됨을 보였다.

상세 분석

AgentXRay 논문은 현재 LLM 기반 멀티에이전트 시스템이 내부 구조와 툴 호출 순서를 숨기고 있어 투명성·제어 가능성이 낮다는 문제점을 정확히 짚는다. 저자들은 이를 “블랙박스 → 화이트박스” 변환 과제로 정의하고, 입력‑출력 페어만으로 목표 시스템의 행동을 근사하는 워크플로우를 찾는 최적화 문제로 공식화한다. 핵심 아이디어는 통합 프리미티브 공간(Ω) 을 정의해 에이전트 역할, 기반 모델, 사고 패턴, 로컬 툴을 하나의 원자적 행동 단위로 만든 뒤, 선형성 가설에 따라 워크플로우를 최대 Lmax 길이의 순차 체인으로 제한한다. 이는 실제 에이전트 시스템이 실행 시점에 순차적인 액션-관찰 루프를 따르는 점과 일치해 탐색 공간을 실용적으로 축소한다.

검색 알고리즘으로는 Monte Carlo Tree Search (MCTS) 를 채택해, 부분 워크플로우(프리픽스)를 트리 노드로 두고, 각 확장은 새로운 프리미티브를 추가한다. 여기서 중요한 점은 Red‑Black Pruning이다. 각 노드에 Quality·Depth·Width 기반 복합 점수를 부여하고, β‑분위수 기준으로 점수가 높은 노드에 RED(깊이 탐색) 색을, 나머지에 BLACK(폭넓은 확장) 색을 할당한다. 이렇게 하면 초기 탐색 단계에서 잠재력이 낮은 브랜치를 조기에 차단하면서, 동시에 promising한 경로는 깊게 파고들어 최적 워크플로우에 가까워질 확률을 높인다. 이 메커니즘은 이론적으로 전체 탐색 볼륨을 Θ(b^{Lmax})에서 Θ((b·(1‑p))^{Lmax}) 혹은 Θ((b·(1‑β))^{Lmax}) 로 축소시켜, 탐색 효율을 지수적으로 향상시킨다.

실험에서는 다섯 개 도메인에 걸쳐 대표적인 멀티에이전트 프레임워크(ChatDev, MetaGPT, TeachMaster)와 상용 어시스턴트(ChatGPT, Gemini)를 블랙박스로 취급하고, 입력‑출력 페어만 수집해 AgentXRay가 재구성한 워크플로우의 Static Functional Equivalence (SFE) 점수를 측정했다. 결과는 AgentXRay가 전체 툴을 활용한 버전에서 평균 0.426의 SFE를 달성했으며, 이는 기존 AFlow(0.403)와 비교해 10% 이상 향상된 수치이다. 또한 토큰 소비량이 8~22% 감소해 동일 예산 내에서 더 깊은 탐색이 가능함을 증명했다. Ablation study에서는 툴을 제외한 버전과 프루닝을 비활성화한 버전이 각각 성능 저하를 보였으며, 이는 프리미티브 통합과 Red‑Black Pruning이 시스템 성능에 기여함을 뒷받침한다.

논문의 기여는 크게 세 가지로 정리된다. 첫째, AWR이라는 새로운 과제 정의를 통해 블랙박스 에이전트 시스템을 해석 가능한 형태로 변환하는 연구 방향을 제시했다. 둘째, AgentXRay라는 MCTS 기반 탐색 프레임워크와 동적 색상 기반 프루닝 기법을 설계해, 조합 폭이 큰 프리미티브 공간에서도 실용적인 탐색을 가능하게 했다. 셋째, 다양한 실제 도메인에 대한 광범위한 실험을 통해 제안 방법의 일반성과 효율성을 검증했다.

한계점으로는 (1) 선형성 가설에 의존해 그래프형 협업 구조를 완전히 포착하지 못한다는 점, (2) 프리미티브 설계가 도메인에 따라 수작업으로 정의돼야 하므로 자동화 수준이 제한적이다는 점, (3) 평가 메트릭이 주로 출력 수준의 유사도에 의존해 실제 내부 로직 일치를 완전히 보장하지 못한다는 점을 들 수 있다. 향후 연구는 그래프형 워크플로우를 직접 탐색하는 확장, 프리미티브 자동 추출 및 메타러닝 기반 탐색 전략, 그리고 기능적 동등성을 보장하는 형식 검증 기법을 통합하는 방향으로 진행될 수 있다.