AI 기반 회귀 테스트 선택으로 품질 보증을 효율화

초록

본 논문은 회귀 테스트 과정에서 테스트 케이스 선택을 반자동화하기 위해 머신러닝을 활용한 방법을 제안한다. 인간 테스트 매니저가 최종 결정을 내리도록 하면서도, 코드 변경 정보를 기반으로 테스트의 중요도를 예측해 불필요한 테스트 실행을 줄이고, 전체 QA 프로세스를 lean하게 만든다.

상세 분석

논문은 전통적인 회귀 테스트 관리가 대규모 프로젝트에서 인적 비용과 시간 소모가 크다는 문제점을 지적한다. 특히 수천에서 수만 개에 이르는 테스트 케이스 풀 중에서 매 릴리즈마다 적절한 서브셋을 선정하는 작업은 테스트 매니저에게 큰 부담이 된다. 기존 연구들은 파일‑레벨 변경 분석, 의존성 그래프, 그리고 블랙박스 테스트 우선순위 기법 등을 제시했지만, 대부분 규칙 기반이거나 정적 가중치에 의존한다는 한계가 있다.

본 연구는 이러한 한계를 극복하기 위해 지도학습 기반의 회귀 테스트 우선순위 모델을 설계한다. 입력 피처는 (1) 변경된 소스 파일의 메타데이터(라인 수, 변경 유형), (2) 테스트 케이스와 변경 파일 간의 매핑 정보(커버리지, 호출 관계), (3) 과거 실행 결과(통과/실패 기록, 실행 시간)이며, 라벨은 과거 릴리즈에서 실제로 실패한 테스트 여부이다. 모델은 Gradient Boosting Decision Tree(GBDT)를 사용해 비선형 관계를 효과적으로 학습한다.

실험은 두 개의 대형 상용 소프트웨어 프로젝트(각각 4‑5자리 테스트 케이스 규모)에서 수행되었으며, 기존 파일‑레벨 기반 선택 방식과 비교했을 때 평균 23 % 이상의 테스트 실행량 감소와 15 % 이상의 결함 탐지율 유지가 확인되었다. 특히, 모델이 높은 확신을 보인 테스트는 자동으로 제외하고, 불확실한 경우에만 인간 매니저가 검토하도록 하는 ‘human‑in‑the‑loop’ 설계가 위험을 최소화한다는 점이 주목할 만하다.

하지만 몇 가지 한계도 존재한다. 첫째, 라벨링에 사용된 과거 실패 데이터가 충분히 풍부하지 않은 경우 모델이 과소‑또는 과대‑예측할 위험이 있다. 둘째, 외부 시스템 인터페이스 변경과 같은 비코드 기반 영향은 현재 피처에 충분히 반영되지 않아 추가적인 메타데이터 수집이 필요하다. 셋째, GBDT 외에 딥러닝 기반 시퀀스 모델이나 그래프 신경망을 적용하면 복잡한 의존 관계를 더 정교히 포착할 가능성이 있다.

향후 연구에서는 (1) 라벨 희소성을 보완하기 위한 준지도 학습, (2) 인터페이스 변경 감지를 위한 로그‑기반 피처 확장, (3) 모델 설명성을 강화해 테스트 매니저가 예측 근거를 직관적으로 이해하도록 하는 XAI 기법 도입을 제안한다. 전반적으로 본 논문은 AI‑지원 회귀 테스트 선택이 QA 프로세스를 lean하게 전환하는 실용적 로드맵을 제공한다.