AI 에이전트가 만든 버그 수정 PR 왜 머지되지 않을까

초록

본 연구는 AIDEV‑POP 데이터셋에서 추출한 8,106개의 AI 코딩 에이전트가 만든 fix‑related PR을 분석해, 65 %는 머지되지만 26 %는 닫히고 9 %는 미결 상태임을 밝힌다. 특히 테스트 실패와 다른 PR에 의해 이미 해결된 경우가 주요 비머지 원인으로 나타났으며, 에이전트별 성공률과 머지 지연 시간에도 큰 차이가 존재한다.

상세 분석

이 논문은 자동 코딩 에이전트가 실제 오픈소스 프로젝트에 기여하는 실효성을 PR 수준에서 정량·정성적으로 평가한다는 점에서 의미가 크다. 먼저 AIDEV‑POP 데이터셋(2025년 공개)에서 OpenAI Codex, GitHub Copilot, Devin, Cursor, Claude Code 등 5가지 에이전트가 만든 8,106개의 fix‑related PR을 추출했으며, 각 PR을 ‘merged’, ‘closed without merge’, ‘open’ 세 가지 상태로 분류하였다. 전체 PR 중 65 %가 머지된 반면, 26 %는 닫히고 9 %는 아직 열려 있다. 에이전트별로는 Codex가 81.6 %의 높은 머지율을 보인 반면, Copilot(42.4 %)과 Devin(42.9 %)은 머지율이 절반 수준에 머물렀다. 이는 에이전트가 생성하는 패치의 품질, 테스트 커버리지, 그리고 프로젝트 문화와의 적합성이 크게 다름을 시사한다.

머지 지연 시간 분석에서는 로그 스케일로 시간(시간 단위)을 측정했으며, Codex PR은 대체로 짧은 지연(중위값이 몇 시간 수준)과 좁은 사분위 범위를 보인 반면, Copilot과 Devin은 상위 25 %에 해당하는 PR이 며칠에서 몇 주까지 걸리는 경우가 많았다. 이는 에이전트가 제시하는 수정이 리뷰어에게 추가적인 검증 작업을 요구하거나, 테스트 실패·빌드 오류 등 기술적 장애를 초래할 가능성이 높다는 점을 반영한다.

비머지 원인에 대한 정성 분석은 2,113개의 ‘closed without merge’ PR 중 326개를 무작위 표집해 100인·시간을 투자해 수행했으며, 두 명의 연구자가 독립 코딩 후 Cohen’s κ=0.82(높은 신뢰도)를 달성했다. 결과적으로 12개의 실패 카테고리를 도출했는데, 가장 빈번한 두 원인은 (R1) ‘다른 PR에 의해 이미 해결됨’(22.1 %)과 (R2) ‘테스트 케이스 실패’(18.1 %)였다. 이어서 ‘잘못되었거나 불완전한 수정’(15.3 %), ‘유지보수자가 거절’(4.9 %), ‘배포 실패’(3.1 %), ‘빌드 실패’(2.1 %) 등이 뒤를 이었다. 흥미롭게도 ‘리뷰 미참여’(4.6 %)와 ‘명시적 사유 없이 종료’(4.0 %)도 존재해, 기술적 결함 외에도 인간·AI 협업 프로세스 자체의 비효율성이 비머지에 기여함을 보여준다.

에이전트별 실패 원인 분포를 보면, Codex는 테스트 실패가 압도적으로 많아(전체 비머지 PR 중 54.9 %) 검증 단계에서의 약점이 드러난다. 반면 Devin은 ‘활동 부족에 의한 종료’가 54 %로 가장 큰 비중을 차지해, 리뷰 사이클이 길어질수록 에이전트가 자동으로 PR을 방치하거나 유지보수자가 관심을 잃는 현상이 두드러진다. Copilot과 Cursor은 각각 ‘다른 PR에 의해 해결됨’과 ‘불완전/잘못된 수정’이 주요 원인으로 나타난다.

이러한 결과는 현재 AI 코딩 에이전트가 실제 개발 흐름에 투입될 때, 단순히 syntactic correctness를 넘어 테스트 통과, 빌드 성공, 그리고 프로젝트 정책에 부합하는지를 자동으로 검증하는 메커니즘이 부족함을 시사한다. 또한, 에이전트와 인간 리뷰어 간의 커뮤니케이션(예: 리뷰 요청에 대한 응답, 피드백 반영) 프로세스를 설계할 때, 비활성화 위험을 최소화하고, 자동화된 피드백 루프를 강화할 필요가 있음을 강조한다.

결론적으로, AI 에이전트가 만든 버그 수정 PR은 상당히 높은 비율로 실제 코드베이스에 통합되고 있지만, 여전히 1/4 정도가 다양한 기술·프로세스적 이유로 머지되지 않는다. 향후 연구는 (1) 테스트 자동 생성·실행을 에이전트 파이프라인에 통합, (2) PR 리뷰 단계에서 에이전트가 실시간으로 피드백을 반영하도록 하는 인터랙티브 워크플로우, (3) 에이전트별 특성을 고려한 맞춤형 품질 게이트 설계 등을 통해 인간‑AI 협업 효율성을 높이는 방향으로 나아가야 한다.