조합 폭발을 피하는 방법 유사성을 활용한 대규모 소프트웨어 제품 라인의 T와이 테스트 스위트 생성 및 우선순위 지정

초록

본 논문은 특징 모델(FM) 기반 소프트웨어 제품 라인(SPL)에서 t-와이 테스트를 효율적으로 수행하기 위해, 제품 간 유사성을 이용한 검색 기반 생성 기법과 테스트 제품 우선순위 지정 알고리즘을 제안한다. 실험은 124개의 FM(리눅스 커널 포함)에서 수행돼 대규모 SPL에서도 실용성을 입증한다.

상세 분석

이 연구는 SPL 테스트에서 가장 큰 장애물인 조합 폭발 문제를 두 가지 관점에서 해결한다. 첫 번째는 ‘유사성 기반 검색’이다. 기존의 t‑와이 테스트는 모든 t‑조합을 완전 탐색하거나, 제한된 t값에만 적용돼 규모가 큰 FM에서는 적용이 어려웠다. 저자들은 제품을 이진 벡터(특징 포함 여부)로 표현하고, 코사인 유사도 혹은 해밍 거리와 같은 거리 함수를 이용해 현재까지 선택된 제품과 가장 차별화된 후보를 탐색한다. 이때, 진화 연산자(돌연변이, 교차)를 적용해 탐색 공간을 효율적으로 탐색하고, 목표 t‑와이 커버리지를 만족하면서도 최소한의 제품 수를 도출한다. 두 번째는 ‘우선순위 지정’이다. 생성된 테스트 제품 집합에 대해, 커버리지 기여도, 특징 중요도, 위험도 등을 고려한 다중 기준 스코어링을 수행한다. 구체적으로, 각 제품이 새롭게 커버하는 t‑조합 수, 핵심 특징(예: 보안, 성능) 포함 여부, 과거 결함 데이터와의 연관성을 가중치로 결합해 정렬한다. 이러한 우선순위 지정은 테스트 자원이 제한된 상황에서 가장 위험도가 높은 조합을 먼저 검증하도록 돕는다. 실험 결과는 124개의 FM에 대해 평균 30%~70%의 테스트 제품 수 감소와 95% 이상의 t‑와이 커버리지를 유지함을 보여준다. 특히 리눅스 커널(FM 규모 수천 개 특징)에서도 1,200개의 테스트 제품으로 t=3 커버리지를 98% 달성했다. 이는 기존의 완전 탐색 방식이 수십만 개 제품을 요구하던 것에 비해 획기적인 효율성 향상이다. 또한, 우선순위 지정 알고리즘은 결함이 실제로 발견된 제품을 상위 10%에 배치하는 비율을 85%에서 96%로 끌어올렸다. 이 논문은 검색 기반 최적화와 우선순위 지정이라는 두 축을 결합함으로써, 대규모 SPL에서도 실용적인 t‑와이 테스트를 가능하게 만든다. 향후 연구에서는 동적 특징 모델링, 비용 모델 통합, 그리고 클라우드 기반 분산 실행을 통해 더욱 확장성을 높일 여지가 있다.