자동화된 소프트웨어 아티팩트 평가를 위한 에이전트 기반 프레임워크

초록

본 논문은 소프트웨어 엔지니어링 분야에서 아티팩트 평가의 급증하는 인력 부담을 해결하고자, 실행 상태 인식, 환경 안정성 확보, 오류 복구라는 세 가지 핵심 과제를 정의한다. 이를 기반으로 제안된 ArtifactCopilot은 README 문서를 의존성‑인식 명령 그래프로 변환하는 AE Graph와 환경 전환을 실시간 추적하는 실행 모니터, 그리고 다중 에이전트 기반 오류 복구 모듈을 결합한 엔드‑투‑엔드 자동화 시스템이다. 48개의 실제 아티팩트에 대한 실험 결과, 인간 평가와 85.42% 일치하며, 기존 LLM 기반 코드 생성 도구보다 52.09%p 높은 정확도를 보이고, 평균 비용은 0.091 USD, 인간 개입은 45건(전체 48건 중)에서 전혀 필요하지 않았다.

상세 분석

본 연구는 먼저 2022‑2025년 주요 SE 학술대회(ASE, FSE, ICSE, ISSTA)의 아티팩트 평가 현황을 정량화하여, 논문 수와 아티팩트 제출량이 급증함에 따라 기존의 수작업 평가 방식이 심각한 병목 현상을 초래한다는 사실을 확인한다. 이를 바탕으로 48개의 실제 아티팩트를 대상으로 예비 연구를 수행했으며, 인간 리뷰어가 개입해야 하는 237개의 인터벤션을 3가지 범주(명령 실행, 오류 처리, 동적 설정)로 분류하였다. 특히 명령 실행이 전체의 53%를 차지하지만, 이는 문서가 구조화되지 않아 자동화가 어려운 근본 원인으로 작용한다는 점을 강조한다.

ArtifactCopilot의 핵심 설계는 “실행 상태를 인식하는 워크플로우”라는 관점이다. 먼저 PDF 혹은 README에서 추출된 텍스트를 자연어 처리와 LLM을 이용해 명령 단위로 파싱하고, 의존 관계를 분석해 DAG 형태의 AE Graph를 생성한다. 이 그래프는 각 노드가 실행 가능한 명령을, 엣지가 전후 관계를 나타내어, 순차적·병렬적 실행 계획을 자동으로 수립한다. 두 번째로, 환경 정규화 전략을 도입해 Docker와 Conda 등 다양한 실행 환경을 추상화하고, 실행 모니터가 호스트와 컨테이너 간 전환을 실시간으로 감지한다. 이를 통해 명령이 잘못된 런타임에 전달되는 오류를 사전에 방지한다.

세 번째로, 오류 복구 메커니즘은 다중 에이전트 협업으로 구현된다. 기본 에이전트가 명령을 실행하고 실패를 감지하면, 오류 유형(패키지 누락, 버전 충돌, 파일 경로 오류 등)에 따라 특화된 서브‑에이전트를 호출해 원인 분석과 자동 패치(예: pip install –‑upgrade, 환경 변수 재설정)를 수행한다. 복구 후에는 AE Graph의 해당 노드를 재시도하도록 스케줄링한다.

실험에서는 48개 아티팩트에 대해 인간 평가와 비교했을 때 85.42% 일치율을 기록했으며, Claude Code와 같은 기존 LLM 기반 코드 생성 도구는 33.33%에 그쳤다. 비용 측면에서는 OpenAI GPT‑4 API 호출 비용을 기준으로 평균 0.091 USD만 소모되었다. 또한 45개의 아티팩트에서는 전혀 인간 개입이 필요 없었으며, 나머지 3개는 평균 0.11회의 인터벤션만으로 해결되었다. Ablation 연구에서는 AE Graph를 제외하면 성공률이 43.75%p 감소하고, 환경 정규화와 다중 에이전트 협업을 각각 제거했을 때도 29.17%p, 22.92%p의 성능 저하가 관찰되어 각 모듈의 중요성을 입증한다.

이러한 결과는 아티팩트 평가가 단순 스크립트 실행이 아니라, 복합적인 상태 관리와 오류 복구가 필수적인 작업임을 확인시켜 주며, 제안된 에이전트 기반 접근법이 실제 연구 커뮤니티의 확장성 문제를 효과적으로 완화할 수 있음을 보여준다.