플로우마인드 실행 요약 프레임워크

초록

LLM 기반 도구 활용 시스템에서 작업 흐름을 정확히 구조화하는 것이 어려운 문제로 남아 있다. FlowMind는 작업 실행과 흐름 요약을 별개의 단계로 분리하는 Execute‑Summarize(ES) 프레임워크를 제안한다. 먼저 모델이 도구를 자유롭게 사용해 과제를 해결하고, 그 실행 로그를 기반으로 독립적인 요약 단계에서 구조화된 워크플로우 그래프를 생성한다. 이를 평가하기 위해 도구·과제·실행 트레이스를 포함한 FlowBench 벤치마크를 구축했으며, 다양한 모델·스케일에서 ES 방식이 기존 ReAct·Plan‑and‑Execute 대비 워크플로우 정확도와 전체 성공률에서 일관되게 우수함을 입증한다.

상세 분석

본 논문은 LLM이 도구와 상호작용하면서 복합적인 문제를 해결할 때, 그 과정 자체를 구조화된 워크플로우로 변환하는 것이 실용적인 시스템 구축에 필수적임을 강조한다. 기존 접근법은 실행과 흐름 생성이 동일한 추론 루프 안에서 동시에 이루어지기 때문에 인지적 부하가 증가하고, 특히 장기·다단계 작업에서 단계 누락, 순서 오류, 파라미터 불일치 등 구조적 결함이 빈번히 발생한다. 이러한 문제점을 해결하기 위해 저자들은 워크플로우를 “툴 호출 시퀀스”라는 명확한 형식으로 정의하고, 두 단계로 작업을 분리한다.

첫 번째 ‘Execute’ 단계에서는 모델이 도구 사용에만 집중하도록 설계돼, 목표 달성을 위한 탐색적 전략, 도구 선택, 파라미터 튜닝 등을 자유롭게 수행한다. 이때 생성되는 실행 트레이스는 툴 호출 ID, 입력·출력, 중간 상태 등을 포함한 풍부한 메타데이터로 기록된다. 두 번째 ‘Summarize’ 단계에서는 전용 그래프 툴만을 이용해 이 트레이스를 요약한다. 여기서는 도구 호출 간 의존관계와 흐름 제어를 추출해, JSON 혹은 그래프 형태의 워크플로우 스키마로 변환한다. 요약 단계는 실행 로그에 기반하므로, 실제 수행된 행동만을 반영해 구조적 정확성을 보장한다.

핵심 기술적 기여는 다음과 같다. 첫째, 실행‑요약 분리를 통해 인지적 부담을 감소시켜 모델이 더 깊은 추론을 할 수 있게 한다. 둘째, 실행 트레이스를 활용한 요약은 “many‑to‑one” 매핑을 가능하게 하여, 여러 시도 중 가장 일반화된 흐름을 도출한다. 셋째, 워크플로우 표현을 툴 호출 시퀀스로 제한함으로써 현재 LLM이 이미 학습된 툴 인터페이스와 자연스럽게 호환된다.

실험에서는 Qwen‑3‑8B부터 GPT‑5까지 다양한 규모의 모델을 대상으로 네 가지 파이프라인(기존 ReAct, Plan‑and‑Execute, ES‑ReAct, ES‑P&E)을 비교했다. 평가 지표는 실행 완성도, 그래프 유효성, 그리고 두 요소를 모두 만족하는 ‘Both Success’ 비율이다. 결과는 ES‑P&E가 대부분의 설정에서 최고 성능을 기록했으며, 특히 대형 모델에서는 100% 실행 성공률과 80% 이상의 워크플로우 정확도를 달성했다. 이는 실행‑요약 접근법이 모델 규모에 관계없이 일관된 이점을 제공함을 시사한다.

또한 저자들은 인지 부하 분석을 통해, 기존 방식이 높은 실행 성공률에도 불구하고 그래프 유효성이 낮아 전체 성공률이 제한되는 현상을 정량화했다. ES 방식은 두 지표 간 격차를 크게 줄이며, 실제 시스템에서 요구되는 재현성·디버깅 가능성을 크게 향상시킨다.

마지막으로 FlowBench이라는 새로운 벤치마크를 제시한다. 이는 도구 정의, 과제 서술, 검증된 실행 트레이스를 포함한 3‑단계 파이프라인으로 구성돼, 워크플로우 생성 모델을 평가할 때 기능적 정답과 구조적 일치를 동시에 측정한다. 이 벤치마크는 향후 연구에서 워크플로우 품질을 표준화된 방식으로 비교할 수 있는 기반을 제공한다.

요약하면, 논문은 LLM 기반 도구 활용 시스템에서 워크플로우 정확성을 확보하기 위한 실행‑요약 프레임워크를 제안하고, 이를 뒷받침하는 벤치마크와 실험을 통해 기존 방법 대비 실질적인 개선을 입증한다.