에이전트 실행 흐름을 비선형화 베이지안 잠재 부분 순서 추론

초록

BPOP은 에이전트가 남긴 순차적 실행 로그를 잠재적인 부분 순서(Partial Order) 그래프로 복원하는 베이지안 프레임워크이다. 로그를 부분 순서의 확률적 선형 확장으로 모델링하고, 전위(frontier) 기반 소프트맥스 likelihood를 도입해 #P‑hard 문제를 다항식 시간에 해결한다. 실험은 클라우드 인프라 IaC와 과학 워크플로우 데이터에 적용했으며, 기존 프로세스 마이닝 방법보다 정확히 의존성을 복원하고, 추출된 그래프를 컴파일러에 넣어 토큰 사용량과 실행 시간을 크게 감소시켰다.

상세 분석

본 논문은 LLM 기반 에이전트가 수행한 절차적 작업을 “선형화된 트레이스” 형태로 남기면서 발생하는 병렬성 손실 문제를 근본적으로 해결하고자 한다. 이를 위해 저자들은 두 가지 핵심 아이디어를 제시한다. 첫째, 실행 로그를 잠재적인 부분 순서(Partial Order) h 의 선형 확장(linear extension) 으로 보는 확률 모델을 구축한다. 부분 순서는 전통적인 DAG 형태의 SOP(Standard Operating Procedure)와 동등하며, 각 행동 a_i와 a_j 사이에 전후 관계가 명확히 정의되지 않을 경우(동시성) 이를 “비비교(incomparable)” 상태로 표시한다. 둘째, 모든 가능한 선형 확장을 직접 열거하면 #P‑complete인 선형 확장 카운팅 문제가 발생하지만, 저자들은 전위(frontier)‑softmax likelihood 를 도입함으로써 이 문제를 회피한다. 전위는 현재까지 수행된 행동 집합을 제외한 남은 행동 중 선행 조건을 모두 만족하는 최소 원소들의 집합이며, 각 단계에서 에이전트가 전위 내 행동을 선택할 확률을 온도 파라미터 β와 흔들림 파라미터 ε를 포함한 소프트맥스 형태로 모델링한다. 이렇게 하면 로그의 전체 확률은 각 단계별 선택 확률의 곱으로 분해되어 O(|E|+T·|A|) 시간에 계산 가능하다.

베이지안 관점에서 저자들은 각 행동을 K 차원 실수 벡터 U_j 에 매핑하고, 컴포넌트별 우월성(component‑wise dominance) 을 통해 부분 순서를 정의한다. 즉, a_i ≻ a_j iff ∀k U_i,k > U_j,k. 이 설계는 Dushnik‑Miller 정리에 기반해 K를 충분히 크게 하면 임의의 유한 부분 순서를 표현할 수 있음을 보장한다. Gaussian prior U_j ∼ N(0, Σ_ρ)와 Σ_ρ의 교환 가능 구조를 통해 모델 복잡도를 조절하고, K 자체도 truncated Poisson prior로 추정한다.

추론은 Metropolis‑within‑Gibbs 샘플러와 reversible‑jump moves를 사용해 U, ρ, β, K 등을 공동 샘플링한다. 사후 분포에서 각 가능한 에지(i→j)의 존재 확률 π̂_ij 를 계산하고, 두 가지 포스트리어 추정 방식을 제안한다. (A) Marginal Threshold — π̂_ij ≥ α 인 경우에만 에지를 채택해 정밀도‑재현율 트레이드‑오프를 조정하고, (B) Marginal Mode — 가장 높은 사후 질량을 가진 관계를 선택해 0‑1 해밍 손실 하에서 베이즈 최적성을 확보한다.

실험에서는 자체 구축한 Cloud‑IaC‑6 벤치마크와 WFCommons 과학 워크플로우 데이터에 BPOP을 적용했다. 다양한 LLM(예: GPT‑4, Claude‑2)으로 생성된 잡음이 섞인 트레이스를 사용했으며, 기존 프로세스 마이닝 도구(Heuristics Miner, Inductive Miner)와 비교했을 때 F1 점수와 구조적 정확도에서 현저히 우수함을 보였다. 특히 IP‑Cov(incomparable pair coverage) 지표를 통해 동시성 식별 가능성을 정량화했으며, BPOP은 높은 IP‑Cov 상황에서 거의 완전한 부분 순서를 복원했다.

복원된 그래프를 **Graph Execution Engine(GEE)**에 컴파일함으로써 실행 단계에서 불필요한 LLM 호출을 제거하고, 전위 기반 스케줄러가 가능한 동시 작업을 병렬 실행한다. 결과적으로 토큰 사용량이 평균 45 % 감소하고, 전체 실행 시간도 30 % 이상 단축되었다. 또한, Tri‑Modal 실행 프레임워크(Expert, Hybrid, Explore)를 도입해 GEE 오류 시 LLM 플래너로 백업하는 안전 메커니즘을 제공한다.

이 논문은 (1) 베이지안 부분 순서 모델링을 통한 노이즈가 있는 선형 로그의 구조적 복원, (2) 전위‑softmax likelihood를 통한 #P‑hard 문제의 실용적 회피, (3) 복원된 SOP를 컴파일러 수준에서 재사용함으로써 연산 비용과 오류 위험을 동시에 감소시키는 전 과정을 제시한다. 향후 연구는 행동의 상태‑조건부 의존성 모델링, 온라인 트레이스 업데이트, 그리고 대규모 멀티‑에이전트 협업 시나리오에의 확장을 기대한다.