AI 에이전트와 인간, 누가 SE 3.0 문서를 주도하는가

초록

본 연구는 AIDev 데이터셋을 활용해 1,997개의 문서‑관련 Pull Request를 분석하고, AI 에이전트가 인간보다 훨씬 많은 문서 PR을 생성하지만, 인간의 사후 검토·수정이 거의 이루어지지 않는다는 사실을 밝혀냈다. 이는 SE 3.0 환경에서 에이전트가 만든 문서의 품질 보증과 리뷰 프로세스에 새로운 위험이 존재함을 시사한다.

상세 분석

이 논문은 SE 3.0이라는 새로운 개발 패러다임에서 AI 에이전트가 문서 작업에 어떻게 참여하고 있는지를 정량적으로 파악한다. 연구자는 AIDev 데이터베이스에서 별 500개 이상을 받은 1,478개의 에이전트 PR과 519개의 인간 PR을 추출했으며, 각 PR에 포함된 파일 수준 변경 내역을 GitHub API를 통해 상세히 수집하였다. 문서 파일은 “.md”, “.txt” 확장자와 “/docs/”, “README” 경로 토큰을 기준으로 정의했으며, 이를 통해 문서‑전용, 비문서‑전용, 혼합형 PR을 구분했다.

RQ1(Prevalence)에서는 에이전트가 생성한 문서 PR이 인간보다 거의 3배 많다는 점을 확인했다(1,478 vs 519). 파일 수준에서는 66.1%가 오직 에이전트에 의해, 30.2%가 인간에 의해, 3.7%만이 양쪽이 공동 편집했다. 흥미롭게도 에이전트 PR 중 29.0%는 실제 문서 파일을 수정하지 않고 비문서 파일만 변경했으며, 이는 레이블링과 실제 작업 사이의 불일치를 드러낸다.

RQ2(Integration)에서는 에이전트가 추가한 라인 대비 인간이 삭제한 라인을 비교했다. 119개의 인간‑후속 커밋 중 85.7%에서 에이전트 추가 라인이 인간 삭제 라인보다 많았으며, 그 중 34.5%는 인간이 전혀 삭제하지 않았다. 평균 86.8%의 추가 라인이 그대로 유지됐으며, 중앙값은 98.7%에 달한다. 이는 에이전트가 만든 문서 변경이 높은 수용률을 보이지만, 인간 리뷰어가 실제로 내용을 검증·수정하는 과정이 거의 없음을 의미한다.

논문은 이러한 결과를 바탕으로 두 가지 주요 위험을 제기한다. 첫째, 에이전트가 만든 문서가 충분히 검증되지 않을 경우, 오류·불일치가 누적되어 프로젝트 유지보수 비용이 증가할 수 있다. 둘째, 현재의 PR 리뷰 프로세스가 에이전트 기여를 효과적으로 감시하지 못하고 있어, 자동화된 리뷰 도구와 인간 리뷰어 간의 역할 재조정이 필요하다.

연구자는 데이터와 분석 스크립트를 공개함으로써 재현성을 확보하고, 향후 연구에서는 리뷰 코멘트, 승인 패턴, 후속 커밋 등을 정성적으로 분석해 인간‑AI 협업의 품질 보증 메커니즘을 심층 탐구할 것을 제안한다.