AI 코딩 에이전트 비교: 작업별 풀 리퀘스트 수용률 분석

초록

본 연구는 AIDev 데이터셋에 포함된 7,156개의 풀 리퀘스트를 대상으로 OpenAI Codex, GitHub Copilot, Devin, Cursor, Claude Code 다섯 가지 AI 코딩 에이전트를 비교한다. 시간에 따른 수용률 변화를 선형 회귀와 LOESS로 분석한 결과, Devin만이 주당 +0.77%의 지속적인 상승을 보였으며 다른 에이전트는 안정적인 추세를 유지했다. 작업 유형이 성능에 가장 큰 영향을 미쳐 문서 작업은 82.1%의 높은 수용률을 보인 반면, 신규 기능은 66.1%에 그쳤다. 작업별 카이제곱 검정에서는 Codex가 전반적으로 높은 수용률을 유지했지만, 문서와 기능에서는 Claude Code가, 버그 수정에서는 Cursor가 우수한 성과를 보였다.

상세 분석

본 논문은 AI 기반 코딩 어시스턴트의 실제 개발 현장에서의 효율성을 정량적으로 평가하기 위해 세 가지 연구 질문(RQ1‑RQ3)을 설정하고, 이를 해결하기 위한 체계적인 방법론을 제시한다. 첫째, 데이터 전처리 단계에서 AIDev‑POP 서브셋(별점 ≥ 100인 레포지토리) 중 폐쇄된 PR 중 최소 하나 이상의 외부 리뷰가 존재하는 7,156건만을 추출함으로써 품질을 보장하였다. 이는 PR이 실제 코드 리뷰 과정을 거쳤음을 의미하며, 단순 자동 병합을 배제한다는 점에서 연구의 내부 타당성을 높인다.

시간적 추세 분석에서는 각 에이전트별 주간 수용률을 선형 회귀 모델(y = β₀ + β₁·t + ε)로 적합하고, β₁이 양수인 경우 주당 %포인트 상승을 의미한다. Devin은 β₁ = +0.77, R² = 0.34로 가장 뚜렷한 양의 기울기를 보였으며, LOESS(프랙션 = 0.5) 곡선에서도 초기(≈60%)‑증가(≈80%)‑안정 단계가 관찰된다. 반면 Codex와 Copilot은 β₁≈0에 가까운 평탄한 추세를 보였으며, 이는 모델 업데이트나 사용자 행동 변화가 수용률에 미치는 영향이 제한적임을 시사한다.

두 번째로, 작업 유형이 성능에 미치는 영향을 파악하기 위해 9가지 작업 카테고리(문서, 기능, 버그 수정 등)별 평균 수용률(MAR)과 표준편차를 계산하였다. 가장 높은 MAR은 chore(84.0%)였고, 가장 낮은 perf(55.4%)를 기록했다. 특히 문서 작업은 82.1%로, 기능 작업(66.1%)보다 16 pp 높은 수용률을 보였으며, 이는 작업 복잡도와 리뷰 기준이 수용률에 직접적인 영향을 미친다는 가설을 뒷받침한다. 리뷰 빈도 분석에서도 Copilot PR이 평균 4.94개의 리뷰를 받는 반면 Codex는 1.39개에 불과했으며, 높은 리뷰 빈도가 낮은 수용률과 연관될 가능성을 제시한다.

세 번째로, 작업별 에이전트 성능을 직접 비교하기 위해 Pearson 카이제곱 검정과, 기대 빈도가 5 미만인 경우 Fisher 정확 검정을 적용하였다. 다중 비교 보정을 위해 Bonferroni 방법(α = 0.00078)을 사용했으며, 64개의 테스트 중 6개가 통계적으로 유의하였다. 유의한 결과는 모두 fix(버그 수정)와 feat(기능 추가) 작업에 국한되었으며, Codex가 fix 작업에서 Devin(φ = 0.39, 중간 효과)보다 우수함을 확인했다. 또한, Codex는 feat 작업에서도 φ = 0.11(작은 효과)로 우위를 점했다. 이러한 결과는 에이전트 간 성능 차이가 복잡하고 핵심 개발 활동에 집중될 가능성을 보여준다.

연구는 또한 시간 창을 맞춘 민감도 분석을 수행해, 모든 에이전트가 겹치는 11주(2025‑05‑19 ~ 2025‑07‑30) 기간에 동일한 결론이 도출되는지를 검증하였다. 결과는 기존 분석과 일관되었으며, Codex가 전체 평균 79.9%의 수용률로 가장 높은 성능을 유지함을 재확인했다.

전반적으로 본 논문은 (1) 에이전트별 시간적 동향, (2) 작업 유형이 성능에 미치는 결정적 영향, (3) 작업별 통계적 우위 비교라는 세 축을 통해 AI 코딩 어시스턴트의 실제 활용 가치를 정량화하였다. 특히 작업 분포가 에이전트 간 전반적인 성능 차이를 왜곡할 수 있음을 강조함으로써, 향후 연구에서는 작업 특성을 고려한 평가 프레임워크가 필요함을 시사한다.