소프트웨어 결함 데이터셋의 전체 지도와 향후 과제

초록

이 논문은 2025년 1월까지 발표된 151개의 소프트웨어 결함 데이터셋을 체계적으로 조사한다. 데이터셋의 적용 분야, 결함 유형, 프로그래밍 언어, 수집 출처·구축 방법, 공개 여부·사용성 등을 네 가지 연구 질문(RQ1‑RQ4)에 따라 분석하고, 실제 인용·활용 현황을 추적한다. 조사 결과, 최근 AI 기반 소프트웨어 엔지니어링 수요에 맞춰 데이터셋 규모와 다양성이 급증했지만, 보안·성능 결함, 새로운 언어·도메인(예: 양자·IoT) 등은 여전히 부족하다. 논문은 자동화된 데이터셋 생성, 지속적 유지·업데이트, 도메인·결함 유형별 특화 데이터셋 구축을 향후 연구 방향으로 제시한다.

상세 분석

본 연구는 소프트웨어 결함 데이터셋이라는 핵심 인프라를 메타 수준에서 조명함으로써, 기존 개별 데이터셋 논문이 제공하던 단편적 정보들을 하나의 통합 프레임워크로 재구성한다. 먼저, 데이터셋 선정 방법론이 매우 엄격했다는 점이 주목된다. ACM Digital Library, DBLP, IEEE Xplore, ScienceDirect 등 네 개 주요 데이터베이스에서 키프레이즈와 키워드·베뉴 조합 검색을 병행하고, 23 057개의 후보 논문을 중복 제거·수작업 스크리닝한 뒤 151개의 데이터셋을 최종 확정하였다. 이 과정에서 Cohen’s κ = 0.871이라는 높은 일치도를 기록했으며, 이는 조사 결과의 신뢰성을 크게 높인다.

RQ1에서는 데이터셋이 다루는 응용 분야를 13개 카테고리(머신러닝, 모바일, 블록체인, 클라우드 등)로 구분하고, 결함 유형(기능, 보안, 성능 등)과 프로그래밍 언어(Java, C/C++, Python 등)의 분포를 분석한다. 결과는 머신러닝·프레임워크·컴파일러 등 전통적인 분야가 여전히 주류를 이루지만, 최근 블록체인·양자·IoT 등 신흥 분야가 점차 등장하고 있음을 보여준다. 특히 보안 결함 데이터셋은 전체의 12%에 불과해, 보안‑중심 연구에 필요한 고품질 데이터가 부족함을 시사한다.

RQ2에서는 결함 출처와 구축 방법론을 조사한다. 버그 트래킹 시스템, 버전 관리 기록, CI/CD 파이프라인 등 다양한 소스가 활용되며, 자동화된 키워드 매칭·머신러닝 기반 라벨링이 점차 늘어나고 있다. 그러나 여전히 수작업 검증이 필요한 데이터셋이 다수이며, 이는 구축 비용과 재현성에 영향을 미친다.

RQ3는 가용성·사용성을 평가한다. 138개의 데이터셋(≈91%)이 공개 저장소(GitHub, Zenodo 등)에서 자유롭게 다운로드 가능하지만, 포맷이 일관되지 않아 사용자가 전처리 작업에 많은 시간을 투자해야 한다. 데이터 제공 형태는 텍스트 설명, 코드 스니펫, 실행 가능한 빌드 아티팩트 등으로 다양하지만, 재현 가능한 테스트 스위트가 포함된 경우는 42%에 불과하다.

RQ4에서는 실제 활용을 인용 분석을 통해 파악한다. Defects4J, SWE‑Bench, Bugs.jar 등 몇몇 ‘핵심’ 데이터셋이 전체 인용의 68%를 차지한다. 이들 데이터셋은 버그 탐지·위치·자동 수리·LLM 기반 코드 생성 등 광범위한 연구에 활용되고 있다. 그러나 대부분의 데이터셋은 제한된 연구 커뮤니티에만 알려져 있어, 잠재적 활용 가치를 충분히 발휘하지 못하고 있다.

전체적으로, 데이터셋 양적 성장에도 불구하고 질적 다양성과 표준화가 부족함을 지적한다. 특히 보안·성능 결함, 최신 언어(예: Rust, Go), 그리고 도메인 특화(예: 임베디드, 양자) 데이터셋이 절실히 필요하다. 자동화된 수집 파이프라인(예: CI 로그와 LLM을 결합)과 지속적 유지·버전 관리 체계가 마련된다면, 데이터셋의 신뢰성과 재현성을 크게 향상시킬 수 있다.

이러한 통찰은 데이터셋 제작자에게는 설계·배포 가이드라인을, 사용자에게는 적합한 데이터셋 선택 기준을 제공한다. 또한, 학계·산업이 공동으로 데이터셋 표준(메타데이터 스키마, 평가 프로토콜)과 지속 가능한 인프라(예: 데이터셋 레지스트리)를 구축해야 함을 강력히 시사한다.