ComfyBench: LLM 기반 에이전트의 협업 AI 시스템 설계 능력 평가

초록

ComfyBench는 ComfyUI에서 협업 AI 파이프라인을 자동으로 설계하도록 LLM 기반 에이전트를 평가하는 200개의 과제와 3,205개의 노드·20개의 워크플로우를 포함한 벤치마크이다. 이를 기반으로 제안된 ComfyAgent는 워크플로우를 코드 형태로 표현하고 다중 에이전트 협업을 통해 기존 워크플로우를 학습·생성한다. 실험 결과, ComfyAgent는 o1‑preview와 비슷한 통과율을 보였지만 창의적 과제 해결율은 15%에 머물러 향후 개선 여지가 크다.

상세 분석

본 논문은 최근 AI 연구가 단일 거대 모델의 성능 극대화에 집중해 온 흐름을 비판하며, “협업 AI 시스템”(Collaborative AI Systems)의 자동 설계라는 새로운 연구 방향을 제시한다. 이를 위해 저자들은 두 가지 핵심 기여를 만든다. 첫째, ComfyUI라는 오픈소스 그래픽 파이프라인 툴을 기반으로 한 ComfyBench를 구축하였다. 이 벤치마크는 200개의 과제로 구성되며, 난이도는 ‘vanilla(기본)’, ‘complex(복합)’, ‘creative(창의)’ 세 단계로 구분된다. 각 과제는 구체적인 텍스트 지시와 함께 3,205개의 노드에 대한 상세 문서와 20개의 튜토리얼 워크플로우를 제공한다. 노드 문서는 모델 로딩, CLIP 텍스트 인코딩, VAE 디코딩 등 Stable Diffusion 생태계 전반을 포괄한다.

둘째, ComfyAgent라는 프레임워크를 설계하였다. 핵심 아이디어는 워크플로우를 코드(Python‑like DSL)로 변환함으로써 LLM이 구조적 의존성을 더 쉽게 파악하도록 하는 것이다. 코드↔︎워크플로우 양방향 변환은 인터프리터가 실행 가능한 JSON을 자동 생성하게 해, 생성된 파이프라인을 즉시 검증·실행할 수 있다. ComfyAgent는 다중 에이전트 아키텍처를 채택한다.

• PlanAgent: 과제 지시를 받아 전체 흐름을 설계한다.
• RetrievalAgent: 제공된 노드 문서와 기존 워크플로우 코드를 검색·요약해 핵심 정보를 추출한다.
• CombineAgent와 AdaptAgent: 추출된 정보를 바탕으로 코드 조각을 결합·수정해 최종 워크플로우를 만든다.

평가 메트릭은 pass rate(구문·의미적 정확성)와 resolve rate(생성된 이미지·비디오가 과제 요구를 만족하는지) 두 가지이다. resolve rate는 GPT‑4o 기반 VLM을 활용해 자동 판단한다. 실험에서는 기존 GPT‑4o, Claude, LLaMA‑2 기반 에이전트와 비교했을 때, ComfyAgent가 pass rate와 resolve rate 모두에서 현저히 우수했으며, 특히 o1‑preview와 비슷한 수준을 달성했다. 그러나 창의적 과제(40개) 중 실제 해결된 비율은 15%에 불과해, 복합적인 논리와 창의적 변형을 요구하는 상황에서 아직 한계가 있음을 보여준다.

이 논문이 시사하는 바는 두fold이다. 첫째, 워크플로우를 코드화함으로써 LLM이 복잡한 그래프 구조를 이해하고 조작하는 데 필요한 “프로그래밍적 사고”를 촉진할 수 있다. 둘째, 다중 에이전트 협업이 단일 프롬프트 기반 접근법보다 더 풍부한 컨텍스트와 단계적 학습을 제공한다는 점이다. 그러나 현재 LLM의 추론 깊이와 장기 기억 한계, 그리고 VLM 기반 자동 평가의 주관성 문제는 여전히 해결 과제로 남는다. 향후 연구는 (1) 더 정교한 메모리·리트리벌 메커니즘, (2) 인간 피드백을 통한 강화학습, (3) 다양한 멀티모달 툴 체인(예: 웹 검색·코드 실행·3D 모델링)과의 연동을 통해 창의적 과제 해결 능력을 크게 향상시킬 여지가 있다.