오픈소스 프로젝트에서 AI 코딩 에이전트 성능 비교

초록

본 논문은 AIDev‑pop 데이터셋을 활용해 Codex, Devin, Copilot, Cursor, Claude 다섯 가지 자동 코딩 에이전트를 PR 수용률, 리뷰 토론량, 커밋 메시지 품질이라는 세 가지 작업‑레벨 지표로 정량적으로 비교한다. Codex는 전반적으로 높은 PR 수용률을 보였으며, Copilot은 가장 많은 리뷰 댓글을 유발한다. 반면 커밋 메시지 품질은 Claude와 Cursor가 우수하고, Codex는 낮은 편이다. 결과는 에이전트 선택 및 향후 설계에 실용적인 인사이트를 제공한다.

상세 분석

본 연구는 AIDev‑pop이라는 공개 데이터셋을 기반으로 33 549개의 PR을 분석하였다. 데이터는 2025년 8월까지 수집된 것으로, GitHub 스타 100 이상인 2 807개의 레포지토리에서 다섯 에이전트가 생성한 PR을 포함한다. 각 PR은 11개의 작업 유형(예: feat, fix, docs, build 등)으로 라벨링되어 있어, 작업별 성능 차이를 정밀하게 측정할 수 있다.

평가 지표는 세 가지로 정의되었다. 첫째, PR 수용률은 “merged / submitted” 비율로 계산했으며, 작업‑에이전트 쌍마다 평균과 표준편차를 구해 안정성을 확인했다. 둘째, 리뷰 토론량은 PR당 평균 댓글 수를 인간과 봇으로 구분해 측정했으며, 이는 리뷰 오버헤드와 에이전트에 대한 인간 검증 정도를 나타낸다. 셋째, 커밋 메시지 품질은 Tian et al.이 제안한 C‑Good 분류기를 사용해 “what”과 “why”를 모두 포함하는지 여부를 판단하였다. 이 모델은 81.6 %의 정밀도를 보이며, 자동화된 품질 평가에 적합하다.

주요 결과는 다음과 같다. (1) Codex는 전체 평균 0.83의 수용률로 가장 높으며, 표준편차 0.06으로 작업 유형 간 변동이 최소했다. 특히 feat와 fix에서도 0.80 이상을 기록해 기능 중심 PR에서도 강한 통합 능력을 보여준다. (2) Copilot은 평균 1.25개의 봇 댓글과 1.31개의 인간 댓글을 받아 가장 활발한 리뷰 토론을 유발했으며, 이는 낮은 수용률(0.45)과 연관된다. 대부분의 PR이 댓글 없이 처리되는 현상은 Codex에서 특히 두드러졌다(98.2 % 무댓글). (3) 커밋 메시지 품질에서는 Claude가 0.68의 평균 좋은 비율로 최고였으며, Cursor가 0.63으로 뒤를 이었다. 반면 Codex는 0.32에 불과해, 높은 수용률에도 불구하고 커밋 설명이 부족함을 드러낸다. 통계적 검증으로 Mann‑Whitney‑Wilcoxon 테스트를 적용해 Codex‑Cursor, Copilot‑Devin, Claude‑Cursor 간 차이가 모두 p < 0.001 수준으로 유의함을 확인했다.

이러한 결과는 에이전트 선택 시 단일 지표만으로 판단하기 어려움을 시사한다. 높은 수용률을 목표로 한다면 Codex가 적합하지만, 리뷰 과정을 통한 품질 검증이 필요하다면 Copilot이 더 많은 피드백을 제공한다. 또한 커밋 메시지 품질을 중시한다면 Claude나 Cursor를 고려해야 한다. 연구는 자동 코딩 에이전트가 실제 개발 워크플로에 어떻게 통합되는지를 작업‑레벨로 정량화함으로써, 향후 에이전트 설계와 배포 전략에 실증적 근거를 제공한다.