에이전트 소프트웨어 시스템의 프로세스 중심 분석
📝 원문 정보
- Title: Process-Centric Analysis of Agentic Software Systems
- ArXiv ID: 2512.02393
- 발행일: 2025-12-02
- 저자: Shuyang Liu, Yang Chen, Rahul Krishna, Saurabh Sinha, Jatin Ganhotra, Reyhan Jabbarvand
📝 초록 (Abstract)
에이전트 시스템은 현대 소프트웨어 시스템으로, 여러 모듈이 조율되고 인터페이스를 제공하며 소프트웨어 파이프라인에 배포됩니다. 기존 프로그램과 달리 실행 경로, 즉 트래젝터리는 본질적으로 확률적이며 해결하고자 하는 문제에 적응합니다. 이러한 시스템의 평가는 종종 결과 중심적이며, 최종 단계의 성공 여부만으로 성능을 판단합니다. 이러한 좁은 초점은 에이전트가 어떻게 추론하고, 계획하고, 행동하며, 시간에 따라 전략을 변화시키는지에 대한 상세한 통찰을 놓칩니다. 전통적인 소프트웨어 시스템을 그래프로 구조화하는 방식을 영감으로, 우리는 Graphectory를 도입하여 이러한 소프트웨어 시스템의 시간적·의미적 관계를 체계적으로 인코딩합니다. Graphectory는 최종 성공 여부와 무관하게 에이전트 워크플로우의 품질을 평가할 수 있는 프로세스 중심 메트릭과 분석을 설계하도록 돕습니다. Graphectory를 활용해 우리는 두 가지 주요 에이전트 프로그래밍 워크플로우인 SWE‑agent와 OpenHands를, 네 가지 백본 대형 언어 모델(LLM)과 결합하여 4,000개의 트래젝터리를 분석했습니다. 자동화된 분석 결과는 다음과 같습니다. (1) 풍부한 프롬프트나 강력한 LLM을 사용하는 에이전트는 더 복잡한 Graphectory를 보여, 패치 제출 전 탐색, 컨텍스트 수집, 검증이 더 깊이 이루어짐을 반영합니다. (2) 에이전트의 문제 해결 전략은 문제 난이도와 사용된 LLM에 따라 달라지며, 해결된 이슈는 일관된 위치 파악‑패치‑검증 단계를 따르는 반면, 해결되지 않은 이슈는 혼란스럽고 반복적이거나 되돌아가는 행동을 보입니다. (3) 성공적인 경우에도 에이전트 프로그래밍 시스템은 비효율적인 프로세스를 보이며 불필요하게 긴 트래젝터리를 생성합니다.💡 논문 핵심 해설 (Deep Analysis)
첫 번째 분석 결과는 프롬프트 설계와 LLM 규모가 에이전트의 탐색 깊이에 직접적인 영향을 미친다는 점을 강조한다. 풍부한 프롬프트는 초기 컨텍스트를 확대하고, 더 많은 후보 솔루션을 생성하도록 유도한다. 이 과정에서 Graphectory는 노드 수와 연결 복잡도가 증가하는 형태로 나타나며, 이는 에이전트가 보다 폭넓은 코드 베이스와 문서를 검토하고, 여러 차례의 검증 루프를 수행함을 의미한다. 반면, 제한된 프롬프트나 소형 LLM은 그래프가 얕고 단순해, 빠르게 결론에 도달하지만 종종 중요한 검증 단계를 건너뛰는 경향을 보인다.
두 번째로, 문제 난이도와 LLM 특성에 따른 전략 변화를 관찰했다. 쉬운 이슈에서는 “문제 정의 → 위치 파악 → 패치 적용 → 테스트 통과”라는 일관된 흐름이 나타나며, Graphectory는 선형적인 구조를 가진다. 반면 복잡한 이슈에서는 에이전트가 여러 차례 위치를 재조정하고, 기존 패치를 롤백하거나 수정하는 반복적인 서브그래프가 형성된다. 특히, 해결되지 못한 사례에서는 그래프가 순환 구조를 띠며, 동일한 오류를 반복적으로 탐색하거나, 무의미한 코드 변형을 수행하는 비효율적인 루프가 발견된다. 이는 현재 LLM이 복합적인 디버깅 논리를 완전하게 모델링하지 못함을 시사한다.
세 번째 결과는 성공적인 결과조차도 프로세스 효율성 측면에서 최적이 아님을 보여준다. 성공적인 트래젝터리에서도 불필요한 테스트 실행, 중복된 코드 생성, 과도한 검증 단계가 포함되어 전체 실행 시간이 크게 늘어난다. 이는 실제 현업에서 에이전트 기반 자동화 도구를 도입할 때, 단순히 성공률만을 지표로 삼는 것이 아니라, 평균 트래젝터리 길이, 검증 비용, 리소스 사용량 등 프로세스 중심 메트릭을 함께 고려해야 함을 의미한다.
이러한 통찰은 향후 에이전트 설계에 두 가지 중요한 방향을 제시한다. 첫째, 프롬프트와 LLM 선택을 통해 의도적인 탐색 깊이를 조절하고, 불필요한 반복을 최소화하는 전략적 제어 메커니즘을 도입할 필요가 있다. 둘째, Graphectory와 같은 그래프 기반 메타데이터를 실시간으로 모니터링하고, 비효율적인 서브그래프를 자동으로 감지·제거하는 피드백 루프를 구축함으로써, 에이전트의 전체 프로세스를 최적화할 수 있다.
마지막으로, 본 연구는 현재 에이전트 시스템 평가에 대한 패러다임 전환을 촉구한다. 결과 중심 평가만으로는 에이전트의 내부 의사결정 과정을 이해하기 어렵다. Graphectory를 활용한 프로세스 중심 분석은 에이전트가 어떻게 문제를 인식하고, 전략을 전환하며, 최종 결론에 도달하는지를 투명하게 드러내어, 보다 신뢰성 있고 효율적인 자동화 시스템 개발을 가능하게 한다.
📄 논문 본문 발췌 (Translation)
📸 추가 이미지 갤러리
