멀티에이전트 서브그래프 추천을 위한 호출 트리 기반 제약 최적화

초록

본 논문은 대규모 에이전트 마켓플레이스에서 에이전트와 툴을 선택·조합하는 문제를 “제약된 의사결정”으로 정의하고, 호출 트리(Calling Tree) 로그를 활용한 두 단계(검색 → 유틸리티 최적화) 프레임워크를 제안한다. 에이전트 단위와 에이전트‑시스템(서브그래프) 두 가지 추천 설정을 모두 지원하며, 8개의 이질적인 데이터셋을 통합한 벤치마크를 구축해 기존 평면형 추천 기법 대비 신뢰성·협업·구조적 일관성이 향상됨을 실험적으로 입증한다.

상세 분석

이 논문은 기존 전자상거래 기반 추천 시스템이 갖는 “아이템 독립성”, “평면 로그”, “단일 아이템 최적화”라는 가정을 멀티에이전트 시스템(MAS)에는 적용할 수 없다는 점을 명확히 짚는다. MAS에서는 에이전트 간 호출 관계가 트리 혹은 그래프 형태로 나타나며, 하나의 에이전트를 선택하면 이후 선택 가능한 후보와 그 성능에 직접적인 영향을 미친다. 따라서 저자는 에이전트 선택을 제약된 의사결정 문제로 공식화하고, 두 단계로 문제를 분해한다.

1. Feasibility Retrieval (검색 단계)

   • 현재 서브태스크 (t)와 전역 에이전트 네트워크 (G=(V,E))를 입력으로, 사전 학습된 임베딩(예: 텍스트 기반 BERT, 구조 기반 GraphSAGE)으로 쿼리 (q_t)와 에이전트 (a)를 동일 공간에 매핑한다.
   • Top‑K 후보를 추출해 A_feasible(t) 혹은 G_feasible(t)(서브그래프)라는 제한된 집합을 만든다. 이 단계는 기존 검색 엔진이나 dense retrieval 모델을 그대로 활용할 수 있어 구현이 용이하고, 후보 집합을 작게 유지함으로써 이후 최적화 비용을 크게 절감한다.

2. Utility Optimization (유틸리티 최적화 단계)

   • 후보 집합 위에서 파라미터화된 스코어링 함수 (s_\theta)를 학습한다. 스코어는 관련성(e_q), 에이전트 능력(e_a), 협업 그래프(g_a), 실행 비용(h_a), 컨텍스트 일치(c) 등 다중 신호를 통합한다.
   • 손실 함수는 소프트맥스 교차 엔트로피(또는 랭크 손실)와 L2 정규화로 구성되며, 실제 호출 트리 로그 (\Omega)에서 관측된 성공/실패 라벨 (y_{t,a}) 혹은 (y_{t,g})를 지도학습한다.
   • 학습된 스코어를 기반으로 후보 집합 내에서 최대 유틸리티를 갖는 에이전트 혹은 서브그래프를 선택한다. 이는 전통적인 “top‑1” 선택보다 제약 만족과 장기 의존성을 동시에 고려한다는 점에서 차별화된다.

두 가지 추천 설정

• SARL (Single‑Agent Recommendation Learning): 각 노드에서 하나의 에이전트를 선택한다. 이는 기존 툴 라우팅 시스템과 유사하지만, 호출 트리 기반 제약을 명시적으로 반영한다.
• ASRL (Agent‑System Recommendation Learning): 노드당 연결된 서브그래프(에이전트 팀)를 직접 추천한다. 내부 협업 제약(예: 데이터 흐름, 인터페이스 호환성)을 사전에 검증함으로써, 팀 수준에서의 조화와 안정성을 보장한다.

데이터 구축
저자는 8개의 공개 멀티에이전트 코퍼스를 수집해 통합 호출‑트리 벤치마크를 만든다. 각 코퍼스는 서로 다른 플랫폼(OpenAI GPTs, AWS Marketplace, Agent.ai 등)에서 수집된 로그이며, 이를 공통 스키마(노드 (t), 에이전트 (a), 성공 라벨, 비용 등)로 정규화했다. 이렇게 만든 데이터셋은 구조적 감독(부모‑자식 관계, 분기 의존성)과 메타 정보(평가점수, 비용, latency) 모두를 포함한다.

실험 결과

• 성능 지표: 성공률, 평균 비용, 호출 트리 깊이, 협업 일관성(Edge‑Consistency) 등 4가지 메트릭을 사용했다.
• 베이스라인: 전통적인 CF/시퀀스 기반 추천, 단순 TF‑IDF 검색, 그리고 최신 LLM‑based 툴 라우팅 모델을 포함한다.
• 주요 발견: 제안 프레임워크는 모든 메트릭에서 평균 12‑18% 개선을 보였으며, 특히 시스템‑레벨(ASRL)에서는 팀 내 충돌 감소와 실행 안정성 향상이 두드러졌다. 또한, 후보 집합을 제한함으로써 추론 시간도 30% 이상 단축되었다.

기술적 기여

1. MAS에서의 제약 기반 추천 문제 정의와 수학적 모델링.
2. 호출 트리 로그를 활용한 구조적 감독 신호 설계.
3. 두 단계 프레임워크(검색 → 스코어링)와 이를 지원하는 통합 스코어링 함수 설계.
4. 이질적인 8개 코퍼스를 통합한 공통 호출‑트리 데이터셋 공개.
5. 실험을 통한 에이전트·시스템 수준 모두에서의 효용 입증.

한계 및 향후 연구

• 현재는 정적 호출 트리를 기반으로 학습하지만, 실시간 동적 환경(에이전트 업데이트, 비용 변동)에서는 온라인 학습이 필요하다.
• 서브그래프 후보 생성 단계는 현재 단순히 Top‑K 검색에 의존하므로, 그래프 기반 후보 생성(예: subgraph mining, GNN‑guided 탐색)으로 확장 가능성이 있다.
• 신뢰성·안전성 라벨이 부족한 경우, 시뮬레이션 기반 보강이나 인증된 메타데이터와의 연계가 요구된다.