진화적 알고리즘을 활용한 테스트 데이터 자동 생성

초록

본 논문은 진화적 알고리즘(Genetic Algorithm)을 이용해 소프트웨어 테스트 데이터 생성 문제를 탐색 기반 최적화 문제로 모델링하고, 무작위 테스트와의 성능을 비교한다. 입력 도메인이 복잡해질수록 GA 기반 테스트가 무작위 방식보다 높은 커버리지와 효율성을 보이며, 실험을 통해 그 우수성을 입증한다.

상세 분석

이 연구는 검색 기반 소프트웨어 공학(Search‑Based Software Engineering, SBSE)의 한 축인 진화적 테스트(Evolutionary Testing, ET)를 구체적인 구현 사례로 제시한다. 먼저 테스트 대상 프로그램의 입력 공간을 탐색 공간으로 정의하고, 각 개체(individual)를 입력 값들의 벡터 형태로 인코딩한다. 이때 인코딩 방식은 정수형, 실수형, 혹은 문자열 등 프로그램이 요구하는 데이터 타입에 따라 다형성을 제공한다. 적합도 함수(fitness function)는 테스트 목표에 따라 설계되는데, 주로 코드 커버리지(문장, 분기, 조건) 혹은 특정 오류 유발 여부를 측정한다. 논문은 적합도 함수를 “커버되지 않은 분기 수의 역수”와 같은 형태로 정의해, 적합도가 낮을수록 더 많은 미탐색 영역을 의미하도록 설계하였다.

진화 연산자는 선택(selection), 교차(crossover), 돌연변이(mutation) 세 단계로 구성된다. 선택 단계에서는 토너먼트 선택이나 룰렛 휠 선택을 적용해 높은 적합도를 가진 개체를 우선적으로 다음 세대로 전달한다. 교차 단계에서는 두 부모 개체의 입력 벡터를 일정 비율로 섞어 새로운 자식을 생성하고, 돌연변이 단계에서는 입력 값에 작은 랜덤 변동을 가해 탐색 공간을 넓힌다. 이러한 연산은 탐색의 탐욕적(local) 성향과 전역적(global) 탐색을 균형 있게 유지하도록 설계되었다.

실험에서는 간단한 베이직 프로그램부터 복잡한 데이터 구조를 다루는 프로그램까지 5가지 벤치마크를 선정하였다. 각 프로그램에 대해 동일한 실행 시간 제한 하에 GA 기반 테스트와 무작위(Random) 테스트를 30번씩 반복 수행하였다. 결과는 코드 커버리지 비율, 테스트 케이스 수, 그리고 발견된 결함 수 등으로 평가되었다. 단순한 프로그램에서는 두 방법 모두 높은 커버리지를 달성했지만, 입력 도메인이 고차원(예: 10차원 이상)으로 확장될 경우 GA는 무작위에 비해 평균 30%~45% 높은 커버리지를 기록하였다. 또한, GA는 동일한 커버리지를 달성하는 데 필요한 테스트 케이스 수가 무작위보다 약 2배 적었다는 점에서 효율성도 입증되었다.

논문은 또한 GA 파라미터(집단 크기, 교차 확률, 돌연변이 확률)의 민감도 분석을 수행하였다. 집단 크기가 작을 경우 탐색이 조기 수렴하여 지역 최적에 머무를 위험이 있었으며, 돌연변이 확률이 과도하면 무작위 탐색에 가까워져 GA의 장점이 사라지는 것을 확인하였다. 최적 파라미터 조합은 실험 대상 프로그램의 특성에 따라 달라지지만, 일반적으로 집단 크기 50100, 교차 확률 0.7, 돌연변이 확률 0.010.05가 좋은 성능을 보였다.

이 연구는 진화적 테스트가 무작위 테스트에 비해 확장성, 효율성, 그리고 결함 탐지 능력에서 우수함을 실증적으로 보여준다. 다만, 적합도 함수 설계가 테스트 목표에 크게 의존하므로, 특정 비기능 요구사항(예: 성능, 메모리 사용량) 등을 반영하려면 추가적인 적합도 구성요소가 필요하다. 또한, 현재 실험은 비교적 작은 규모의 프로그램에 국한되어 있어, 대규모 산업 시스템에 적용할 경우 연산 비용과 병렬화 전략에 대한 추가 연구가 요구된다.