다중언어 환경 자동 구축으로 검증 가능한 소프트웨어 엔지니어링 가속

초록

MEnvAgent은 다국어 소프트웨어 프로젝트의 실행 가능한 Docker 환경을 자동으로 생성·재사용하는 멀티‑에이전트 시스템이다. Planning‑Execution‑Verification 루프와 환경 재사용 메커니즘을 통해 구축 실패를 스스로 해결하고, 기존 검증된 환경을 증분 패치하여 시간 비용을 43 % 절감한다. 10개 언어·1,000개 태스크로 구성된 MEnvBench에서 기존 베이스라인 대비 F2P(Fail‑to‑Pass) 비율을 8.6 % 개선했으며, 이를 기반으로 만든 MEnvData‑SWE는 현재 가장 큰 다중언어 검증 가능 데이터셋으로 공개된다.

상세 분석

본 논문은 LLM 기반 소프트웨어 엔지니어링(​SWE​) 연구에서 가장 큰 병목인 “검증 가능한 데이터셋 확보” 문제를 환경 구축 단계에서 접근한다. 기존 연구는 파이썬 중심의 정적 메트릭이나 수작업 환경 구축에 의존해 확장성이 떨어졌으며, 다언어 프로젝트에서는 의존성 충돌, 빌드 스크립트 차이, 테스트 프레임워크 다양성 등 복합적인 장애가 빈번히 발생한다. MEnvAgent은 이러한 복합성을 해결하기 위해 세 가지 핵심 설계를 도입한다.

첫째, 멀티‑에이전트 Planning‑Execution‑Verification 루프이다. Repository Analysis Agent가 레포지토리 구조와 의존성을 자동 추출하고, Environment Setup Agent가 베이스 이미지와 설치 스크립트를 생성한다. Test Configuration Agent는 해당 언어·프레임워크에 맞는 테스트 스크립트를 만든 뒤, Execution Agent가 컨테이너 내에서 실시간 로그를 모니터링하며 오류를 자동 교정한다. 검증 단계에서는 Verification Agent가 F2P 기준(실제 이슈 재현 + 패치 적용 후 통과)을 만족하는지 판단하고, 실패 원인을 Planning 단계에 피드백한다. 이 닫힌 루프는 인간 개입 없이도 반복적인 빌드·테스트 실패를 자체적으로 해결한다는 점에서 혁신적이다.

둘째, **환경 재사용 메커니즘(Environment Reuse Mechanism)**이다. 기존에 성공적으로 검증된 환경을 풀(pool)로 관리하고, 새로운 태스크와 가장 유사한 환경을 검색한다. 유사도 판단은 버전 일치, 동일 레포지토리 여부, 역호환성(신버전 환경이 구버전 의존성을 지원) 등을 계층적으로 적용한다. 찾은 환경에 대해 EnvPatchAgent가 증분 패치를 생성해 기존 이미지·설치 스크립트를 최소 수정한다. 이렇게 하면 전체 빌드 과정을 처음부터 수행할 필요가 없어 시간·자원 소모를 크게 줄인다. 실험 결과, 재사용된 환경 비율이 62 %에 달했으며, 전체 평균 구축 시간은 43 % 감소했다.

셋째, **다언어 벤치마크(MEnvBench)와 데이터셋(MEnvData‑SWE)**이다. 10개 주요 언어(파이썬, 자바, 자바스크립트, 고, 러스트 등)와 200개 레포지토리에서 각각 5개의 이슈‑PR 쌍을 추출해 1,000개의 태스크를 구성했다. 각 태스크는 Issue‑PR 기반의 코드 변경과 테스트 패치를 포함하며, 실행 가능성 및 F2P 기준을 엄격히 검증한다. 베이스라인(기존 자동화 도구, 수작업 구축)과 비교했을 때, MEnvAgent은 Pass Rate를 8.6 % 상승시켰고, F2P 비율에서도 유의미한 개선을 보였다. 또한, 구축된 Docker 환경과 해결 과정(솔루션 트래젝터리)을 포함한 MEnvData‑SWE를 공개함으로써, 향후 LLM을 활용한 강화학습(RL‑VR)이나 프롬프트 엔지니어링 연구에 바로 활용할 수 있다.

핵심 인사이트는 **“환경 구축 자체를 자동화·재사용 가능한 서비스화”**함으로써, LLM 기반 SWE 연구가 데이터 품질에 얽매이지 않고 대규모 실험을 수행할 수 있게 된다는 점이다. 특히, 다언어 지원과 증분 패치 전략은 기존의 단일 언어·전체 재빌드 방식보다 확장성과 효율성에서 큰 차이를 만든다. 앞으로는 환경 재사용 풀을 지속적으로 확대하고, 에이전트의 메타러닝을 도입해 새로운 언어나 프레임워크에 대한 적응 속도를 더욱 가속화할 여지가 있다.