자동 생성 테스트 케이스의 신뢰성 있는 채굴 및 축소 방법

초록

본 논문은 소프트웨어 요구사항 명세서(SRS)에서 기능 요구사항(FR)과 비기능 요구사항(NFR)을 자동 분류하고, 이를 상태도(state chart)로 변환한다. 변환된 상태도를 기반으로 계획 문제로 모델링하여 테스트 케이스를 자동 생성하고, 마이닝 기법을 활용해 테스트 스위트를 효과적으로 축소한다. 결과적으로 시스템 수준 테스트의 자동화와 테스트 비용 절감에 기여한다.

상세 분석

이 연구는 요구사항 명세서에서 텍스트 기반의 FR과 NFR을 구분하는 단계와, 구분된 요구사항을 형식적인 상태도 모델로 매핑하는 두 개의 핵심 프로세스로 구성된다. 첫 번째 단계에서는 자연어 처리(NLP) 파이프라인을 이용해 토큰화, 품사 태깅, 의존 구문 분석을 수행하고, 사전 정의된 키워드와 규칙 기반 분류기를 결합해 기능적·비기능적 문장을 식별한다. 여기서 중요한 점은 NFR이 종종 정량적 속성(성능, 보안, 신뢰성 등)으로 표현되기 때문에, 해당 속성을 추출해 메타데이터로 저장함으로써 이후 상태도 생성 시 조건 전이(guard)로 활용한다는 것이다.

두 번째 단계에서는 추출된 요구사항을 UML 상태도 혹은 상태 전이 다이어그램으로 변환한다. 각 FR은 상태와 전이로 매핑되고, NFR은 전이의 guard 조건이나 상태의 invariant으로 삽입된다. 이 과정에서 요구사항 간의 종속 관계(예: 선행 조건, 상호 배제)를 그래프 형태로 모델링하여 순환 의존성을 탐지하고, 필요시 요구사항을 분해하거나 병합한다. 변환된 상태도는 플래너(planner)에게 입력으로 제공되며, 플래너는 초기 상태와 목표 상태(예: 시스템이 특정 기능을 수행하거나 NFR을 만족하는 상태)를 정의하고, AI 계획 기법(예: PDDL 기반 히스토리 기반 탐색)으로 가능한 전이 시퀀스를 탐색한다. 각 전이 시퀀스는 하나의 테스트 케이스로 해석되며, 입력 데이터, 실행 단계, 기대 결과가 자동으로 서술된다.

생성된 테스트 케이스는 일반적으로 수천 개에 달할 수 있기 때문에, 테스트 스위트 축소가 필수적이다. 논문은 두 가지 마이닝 접근법을 제안한다. 첫 번째는 빈도 기반 클러스터링으로, 유사한 전이 패턴을 가진 테스트 케이스를 군집화하고 대표 케이스만을 선택한다. 두 번째는 연관 규칙 마이닝으로, 테스트 케이스 간에 공통된 전이 조합이 높은 신뢰도를 보이는 경우 이를 하나의 추상 테스트 시나리오로 통합한다. 이러한 축소 과정은 테스트 커버리지를 유지하면서 실행 비용을 크게 낮춘다.

실험 결과는 공개된 SRS 데이터셋(예: NASA PTS, PROMISE)에 적용했을 때, 요구사항 분류 정확도 92 % 이상, 상태도 변환 성공률 95 %를 기록했으며, 자동 생성된 테스트 케이스는 기존 수동 설계 대비 30 % 이상 높은 결함 탐지율을 보였다. 또한, 마이닝 기반 축소 후 테스트 스위트는 원본 대비 45 % 정도로 감소했음에도 불구하고 커버리지는 98 % 이상 유지되었다. 이러한 결과는 요구사항 기반 테스트 자동화와 비용 효율적인 테스트 관리에 실질적인 가치를 제공한다는 점을 시사한다.