자동 생성 테스트와 수동 테스트의 커버리지와 결함 위치 파악 비교

초록

본 논문은 EvoSuite가 자동으로 만든 단위 테스트와 개발자가 직접 작성한 테스트를 Defects4J의 실제 버그 데이터에 적용해, 코드 커버리지와 스펙트럼 기반 결함 위치 파악(SBFL) 점수를 비교한다. 자동 테스트는 분기 커버리지는 높지만, 깊게 중첩된 로직에서는 SBFL 점수가 낮아 수동 테스트가 더 효과적임을 밝혀, 두 접근법을 결합할 필요성을 제시한다.

상세 분석

이 연구는 테스트 자동 생성 도구의 효용을 단순히 커버리지 수치에만 의존하지 않고, 결함 위치 파악 능력이라는 보다 실용적인 지표로 평가한 점이 혁신적이다. EvoSuite를 이용해 생성된 AG‑tests는 분기 커버리지가 MC‑tests보다 평균 8~12% 높게 나타났으며, 테스트 케이스 수 역시 비슷한 수준(평균 112 vs 103)으로 자동화의 비용 효율성을 입증한다. 그러나 SBFL 점수는 전체 평균 0.42에 불과해, 특히 중첩 깊이가 3 이상인 메서드에서는 0.28 이하로 급락했다. 이는 자동 생성 테스트가 조건문을 다양한 경로로 실행시키는 데는 강하지만, 실패 시 특정 구문을 집중적으로 검증하도록 설계되지 않아 ‘실패 패턴’이 제한적이기 때문이다. 반면 수동 테스트는 개발자의 도메인 지식과 의도적인 경계값 설계 덕분에 실패 테스트가 풍부하고, 결과적으로 Ochiai 기반 의심도 계산에서 높은 순위를 차지한다.

통계적으로는 Wilcoxon 부호 순위 검정을 통해 두 집단 간 차이가 95% 신뢰수준에서 유의함을 확인했으며, 변이 연산자별 분석에서는 산술 연산 변이보다 조건부 변이에 대해 AG‑tests가 상대적으로 낮은 SBFL 점수를 보였다. 연구 설계상의 한계로는 버그가 수정된 버전에서 테스트를 생성했기 때문에, 실제 개발 단계에서 발생하는 ‘버그 전’ 상황과 차이가 존재한다는 점이다. 또한 EvoSuite의 파라미터 튜닝이나 다른 자동 생성 도구와의 비교가 부족했다. 그럼에도 불구하고, 커버리지와 SBFL 점수를 동시에 고려한 평가 프레임워크는 향후 테스트 자동화 연구에 중요한 기준을 제공한다.

핵심 인사이트는 다음과 같다. 첫째, 높은 커버리지는 반드시 높은 결함 탐지 능력으로 이어지지 않는다. 둘째, 자동 생성 테스트는 단순 구조와 얕은 조건문에서는 매우 효과적이지만, 복잡한 제어 흐름에서는 수동 테스트가 여전히 우위에 있다. 셋째, 두 테스트 유형을 전략적으로 결합하면, 자동화가 제공하는 광범위한 경로 탐색과 수동 테스트가 제공하는 목표 지향적 실패 검증을 동시에 활용할 수 있다. 따라서 실무에서는 자동 생성 테스트를 초기 커버리지 확보 수단으로 사용하고, 이후 위험도가 높은 복잡 모듈에 대해 개발자가 직접 설계한 테스트를 보강하는 혼합 전략이 권장된다.