의존성 결정 평가를 위한 새로운 벤치마크 DepDec Bench 제안

초록

본 논문은 AI 코딩 에이전트가 PR 과정에서 수행하는 의존성 추가·제거·업데이트가 보안 및 유지보수에 미치는 영향을 실증적으로 분석하고, 이러한 비기능적 결정을 정량화·평가하기 위한 DepDec-Bench 벤치마크를 설계한다. 초기 연구 결과, 에이전트는 인간보다 취약 버전을 선택할 확률이 높고, 전체 보안 영향이 마이너스인 것으로 나타났다.

상세 분석

논문은 먼저 현대 소프트웨어가 NPM, PyPI, Maven 등 공개 레지스트리의 서드파티 패키지에 크게 의존한다는 점을 강조한다. 이러한 의존성은 개발 속도를 높이는 반면, 취약점 전파 경로가 되거나 장기적인 유지보수 부담을 가중시킬 수 있다. AI 코딩 에이전트가 코드 생성뿐 아니라 의존성 관리까지 자동화하면서, 기존 벤치마크가 테스트 통과 여부에만 초점을 맞추는 한계가 드러난다. 저자들은 의존성 결정(재사용, 불필요한 추가 방지, 버전 선택)의 세 가지 핵심 기준을 제시하고, 이를 정량화할 메트릭스를 설계한다.

실증 연구에서는 AIDev-pop 데이터셋을 활용해 2,807개의 인기 GitHub 레포지토리에서 33,596개의 에이전트 PR과 6,618개의 인간 PR을 분석하였다. 전체 117,062건의 의존성 변경 중 45%는 추가, 29.5%는 제거, 25.5%는 버전 업데이트였다. 에이전트는 버전 업데이트 비율이 인간보다 현저히 높았으며(25.5% vs 15.8%), 취약 버전을 도입할 확률도 더 높았다(2.46% vs 1.64%). 특히 도입된 취약 버전의 86.58%가 PR 시점에 이미 패치된 안전 버전이 존재했음에도 선택되지 않았다. 이는 에이전트가 정책이나 보안 정보를 충분히 활용하지 못한다는 증거이다.

보안 영향의 정량화에서는 ‘net impact’라는 지표를 도입해, 도입된 취약점 수에서 해결된 취약점 수를 차감한다. 에이전트 PR은 -98(즉, 순손실)인 반면 인간 PR은 +1,316으로 긍정적인 영향을 보였다. 또한 에이전트가 선택한 취약 버전 중 36.8%는 메이저 버전 업그레이드가 필요했으며, 이는 향후 리팩터링 비용을 크게 증가시킨다.

이러한 결과를 바탕으로 DepDec-Bench는 두 트랙(정책 명시 트랙, 정책 비명시 트랙)과 네 가지 작업 패밀리(재사용 가능, 정당한 추가, 불필요한 추가 방지, 정책 안전 버전 선택)를 정의한다. 각 인스턴스는 고정된 레포지토리 스냅샷과 테스트 스위트를 제공하고, 에이전트는 코드와 의존성 매니페스트를 수정해 제출한다. 평가 메트릭은 (1) PR 시점 취약 버전 회피, (2) 기존 의존성 재사용 여부, (3) 불필요한 의존성 추가 억제, (4) 취약 버전 선택 시 발생하는 리메디에이션 비용을 정량화한다.

저자들은 벤치마크 구축 로드맵을 제시하며, 초기 단계에서는 인간 전문가가 만든 라벨링과 정책 규칙을 활용하고, 차후에는 자동화된 취약점 데이터베이스와 정책 엔진을 연동해 평가의 객관성을 높일 계획이다. 전체적으로 이 연구는 AI 에이전트가 실무에서 의존성 결정을 내릴 때 발생할 수 있는 보안·유지보수 리스크를 조명하고, 이를 체계적으로 측정·비교할 수 있는 첫 번째 벤치마크를 제공한다는 점에서 의미가 크다.