프로젝트 내 결함 분류기 검증 시 데이터 순서 보존의 필요성

초록

본 연구는 동일 프로젝트의 이전 릴리즈 데이터를 활용해 결함 예측 모델을 평가할 때, 시간 순서를 유지하는 검증 기법(워크포워드)과 전통적인 교차 검증·부트스트랩 기법 사이의 정확도 차이를 조사한다. 10가지 분류기와 15개 프로젝트를 대상으로 AUC 변동을 분석한 결과, 워크포워드와 다른 기법 간에 평균 ±0.2 정도의 차이가 발생했으며, 45~56% 사례에서 통계적으로 유의한 차이를 보였다. 결함 비율이 릴리즈마다 변동한다는 점이 차이의 주요 원인으로 제시된다.

상세 분석

이 논문은 소프트웨어 결함 예측 모델을 실제 운영 환경에 적용하기 위한 검증 절차의 타당성을 검토한다는 점에서 학술적·실무적 의의가 크다. 먼저, 기존 연구에서 널리 사용되는 10‑fold 교차 검증과 부트스트랩은 데이터 샘플을 무작위로 재배열하여 학습·테스트 세트를 구성한다. 이러한 비시간계열 기법은 과거 데이터가 테스트 세트에 포함될 위험을 내포하고 있어, 실제 배포 시 모델이 미래 데이터를 예측하는 상황과 일치하지 않을 가능성이 있다. 반면, 워크포워드(시간‑시리즈) 검증은 릴리즈 순서를 엄격히 보존한다. 초기 릴리즈를 학습에 사용하고, 이후 릴리즈를 순차적으로 테스트함으로써 ‘데이터 누수’를 방지하고, 모델이 실제 운영 환경에서 마주할 데이터 분포 변화를 반영한다.

실험 설계는 13개의 오픈소스 프로젝트와 2개의 폐쇄형 프로젝트, 총 15개 프로젝트에 대해 10가지 분류기(로지스틱 회귀, 랜덤 포레스트, SVM 등)를 적용하고, 각 검증 기법별 AUC를 측정하였다. 결과는 두 가지 주요 패턴을 보여준다. 첫째, 워크포워드와 교차 검증 간 AUC 차이는 -0.20에서 +0.22까지 다양했으며, 전체 경우의 45%에서 통계적으로 유의한 차이를 보였다. 둘째, 워크포워드와 부트스트랩 간 차이는 -0.17에서 +0.43까지 범위가 넓었고, 56%의 경우에서 유의미했다. 이러한 차이는 단순히 검증 방법론의 차이만으로 설명되지 않는다. 논문은 각 릴리즈별 결함 비율(Defect Density)이 시간에 따라 변동한다는 사실을 확인했으며, 이 변동이 모델 성능 평가에 큰 영향을 미친다고 주장한다. 즉, 결함 비율이 상승하거나 하락하는 시점에 비시간계열 검증이 과거 데이터에 과도히 의존하게 되면, 실제 미래 성능을 과대 혹은 과소 평가하게 된다.

또한, 통계적 검증을 위해 Wilcoxon signed‑rank test과 효과 크기(Cohen’s d)를 활용했으며, 결과가 일관되게 나타났음에도 불구하고 프로젝트마다 차이의 방향성이 다름을 지적한다. 이는 데이터 특성(예: 코드 규모, 개발 프로세스, 도메인)과 결함 발생 메커니즘이 프로젝트마다 상이하기 때문이다. 따라서 연구자는 검증 기법 선택 시 ‘연구 목적’(예: 알고리즘 비교 vs. 실제 적용 가능성 평가)과 ‘데이터 특성’(릴리즈 수, 결함 비율 변동성)을 고려해야 한다고 강조한다.

이 논문의 가장 큰 기여는 결함 예측 연구에서 흔히 간과되는 ‘시간적 순서 보존’의 중요성을 실증적으로 입증했다는 점이다. 향후 연구에서는 다중 프로젝트 간 전이 학습, 시계열 특성을 활용한 특징 엔지니어링, 그리고 결함 비율 변동을 모델에 직접 반영하는 방법론을 탐색함으로써, 보다 현실적인 결함 예측 파이프라인을 구축할 수 있을 것이다.