다중 분야 에이전트 워크플로우 자동 생성

초록

본 논문은 도메인 간 전이 문제를 해결하기 위해, 대규모 언어 모델에 “분해‑재구성‑판단” 메커니즘을 내재화한 CapFlow를 제안한다. 작업을 수행하는 데 필요한 재사용 가능한 워크플로우 능력(캡빌리티)들을 소수의 베이스로 학습하고, 입력 질의마다 이 베이스들을 희소하게 조합해 단일 패스로 실행 가능한 에이전트 워크플로우를 생성한다. 또한, 성공·실패 워크플로우 데이터를 활용해 역사실(counterfactual) 기여도를 추정함으로써 각 베이스의 실제 효과를 정량화한다. 실험 결과, 20회 반복하는 기존 리파인먼트 방식보다 적은 비용과 지연 시간으로 다중·교차·미지 도메인에서 우수한 성능을 달성한다.

상세 분석

CapFlow는 기존 에이전트 워크플로우 자동 생성 방식이 갖는 두 가지 근본적인 한계를 극복한다. 첫째, 워크플로우를 “시도‑오류” 방식으로 탐색하는 과정에서 발생하는 높은 연산 비용과 불안정성을 없앤다. 둘째, 도메인 전이가 일어날 때 워크플로우 설계 기준이 급격히 변하는 문제를 해결한다. 이를 위해 저자들은 “분해‑재구성‑판단”이라는 세 단계 메커니즘을 LLM 내부에 직접 삽입한다.

분해 단계에서는 다양한 도메인(코딩, 수학, 일반 추론)에서 성공적인 워크플로우를 분석해 공통적인 능력 요소를 추출한다. 이러한 능력은 “다면적 분석”, “검증·수정”, “집계” 등으로 요약되며, 각각을 저차원(랭크‑r) 업데이트 형태의 베이스(ΔB_k)로 파라미터화한다. 베이스는 기존 모델 파라미터에 가벼운 어댑터 형태로 삽입되며, 전체 파라미터 수는 수백만 수준에 머물러 효율적인 학습이 가능하다.

재구성 단계에서는 입력 질의 q를 임베딩한 뒤, 소수(K≈10~20)의 베이스를 선택·가중치(c_k)하는 스파스 컴포저를 학습한다. 이 과정은 마스크드 언어 모델링과 함께, 성공적인 워크플로우와 실패 워크플로우를 구분하는 선호 기반 손실(preference loss)을 결합해 진행된다. 스파스 선택은 Gumbel‑Softmax 혹은 Top‑k 방식으로 구현돼, 각 질의마다 필요한 능력만을 활성화함으로써 도메인 독립적인 일반화를 촉진한다.

판단 단계는 생성된 워크플로우의 성공 여부를 역사실 기여도 분석을 통해 평가한다. 구체적으로, 각 베이스를 “제거”하거나 “대체”했을 때 전체 성공률이 어떻게 변하는지를 측정해, 베이스의 마진 효과를 추정한다. 이 정보는 베이스 스케일(c_k) 업데이트에 피드백으로 사용되어, 실제로 성능에 기여하는 능력만이 강화되도록 만든다.

실험 설계는 세 가지 평가 시나리오를 포함한다. (1) 멀티‑도메인: 동일 데이터셋 내에서 각 도메인별 테스트; (2) 크로스‑도메인: 훈련에 포함되지 않은 도메인으로 전이; (3) 언시드‑도메인: 완전히 새로운 작업 유형에 대한 일반화. 모든 경우에서 CapFlow는 1‑패스 생성으로도 기존 20‑iteration 리파인먼트 기반 모델(AFlow, MASS 등)을 능가했으며, 평균 생성 지연이 5~7배 감소하고 비용도 80% 이상 절감되었다.

또한, 베이스 해석 실험을 통해 특정 베이스가 “검증·수정” 역할을 담당함을 시각화했으며, 도메인 간 겹치는 베이스가 존재함을 확인했다. 이는 워크플로우 설계가 실제로는 몇 개의 핵심 능력에 의해 좌우된다는 가설을 실증적으로 뒷받침한다.

한계점으로는 베이스 수 K와 랭크 r을 어떻게 최적화할지에 대한 이론적 가이드가 부족하고, 현재는 경험적 튜닝에 의존한다는 점이다. 또한, 역사실 기여도 추정이 샘플 효율성에 민감해 대규모 데이터가 없을 경우 불안정해질 가능성이 있다. 향후 연구에서는 베이스 자동 성장 메커니즘과 더 효율적인 인과 추정 방법을 도입해 이러한 문제를 보완할 여지가 있다.