상태 기반 테스트: 코드와 계약의 오류를 더 많이 찾아라

초록

자동 무작위 테스트에 상태 기반 테스트를 결합하면 기존 테스트 스위트를 확장해 동적으로 추론된 계약을 위반하는 새로운 입력을 생성한다. 13개의 데이터 구조 클래스(28 000 줄 이상)에서 68 % 이상의 새로운 결함을 발견하고, 추론 계약의 정확도를 99 % 이상으로 끌어올리면서 전체 실행 시간은 7 %만 추가로 소요된다.

상세 분석

이 논문은 기존의 무작위 테스트가 오래 실행될수록 객체 풀(object pool)이 비대해지고, 풀 안에 존재하는 유용한 객체를 무작위로 선택할 확률이 급격히 감소한다는 한계를 지적한다. 이를 보완하기 위해 제안된 “Stateful Testing”은 두 단계로 구성된다. 첫 번째 단계에서는 AutoTest가 수집한 객체와 테스트 케이스를 직렬화해 관계형 데이터베이스에 저장한다. 여기에는 각 객체의 타입, 공개 질의(public query) 결과, 메서드 호출 전후 상태 전이 등이 메타데이터 형태로 기록된다. 두 번째 단계에서는 AutoInfer가 기존 테스트에서 자동으로 추론한 전·후조건(contracts)을 활용한다. 추론 계약은 템플릿 기반으로 생성되며, 관찰된 실행 기록에 기반해 “Current.disjoint(other)”, “old Current.is_equal(other) ⇒ Current.is_empty”와 같은 전제·후행 관계를 만든다. 그러나 이러한 계약은 샘플링 편향에 의해 불완전하거나 심지어 잘못된(unsound) 경우가 있다.

Stateful Testing은 데이터베이스에서 “계약을 위반하는” 객체 조합을 탐색한다. 예를 들어, “Current.disjoint(other)”라는 전제는 두 집합이 겹치지 않을 때만 호출되었음을 의미한다. 풀 안에 겹치는 집합 쌍이 존재한다면 이를 찾아 “merge” 메서드에 적용함으로써(1) 기존 전제가 실제로 필요 없음을 증명해 계약을 폐기하고, (2) 새로운 실행 경로를 탐색해 아직 발견되지 않은 결함을 드러낸다. 또한 “old Current.is_equal(other) ⇒ Current.is_empty”와 같은 후조건은 사전 상태에서 두 객체가 동일했지만 사후 상태에서 비어 있지 않을 경우 계약이 깨진다. 이를 검증하기 위해 동일한 객체 쌍을 선택해 메서드를 호출하고, 결과가 기대와 다르면 새로운 결함을 포착한다.

특히 흥미로운 점은 계약 위반을 위해 객체 자체를 변형하는 절차를 자동으로 구성한다는 것이다. 예시에서 “merge_tree_after”는 커서가 ‘off’ 상태일 때만 호출 가능하므로, 데이터베이스에 존재하는 형제 트리 객체가 ‘off’ 상태라면 직접 “start” 메서드로 커서를 이동시킨 뒤 테스트를 만든다. 이렇게 단계적 변형을 허용함으로써 단순 검색으로는 찾기 어려운 경로까지 탐색한다.

실험 결과는 설득력 있다. 13개의 EiffelBase·Gobo 데이터 구조 클래스에 대해 520시간 무작위 테스트(149 293개 테스트 케이스) 후, Stateful Testing을 36시간 추가 실행했을 때 65개의 새로운 결함을 발견했으며, 이는 기존 결함 대비 68.4 % 증가한 수치다. 동시에 추론된 계약 중 39.3 %가 실제로 검증되었고, 수동 검토 결과 거의 모든 검증된 계약이 sound했다. 시간 오버헤드는 전체 실행 시간 대비 7 %에 불과해 실용성이 높다.

핵심 인사이트는 다음과 같다.

1. 동적 계약과 객체 메타데이터의 결합: 무작위 테스트가 만든 방대한 실행 로그를 구조화해 검색 가능한 형태로 만든 뒤, 계약 위반을 목표로 삼음으로써 테스트 효율을 크게 높인다.
2. 계약 검증을 통한 자동 계약 정제: 불완전하거나 잘못된 계약을 자동으로 식별·제거함으로써, 이후 테스트·정적 분석 단계에서 더 정확한 사양 정보를 제공한다.
3. 객체 변형 기반 테스트 생성: 필요한 전제 조건을 만족시키기 위해 기존 객체에 추가 메서드 호출을 삽입하는 전략은, 테스트 생성 공간을 크게 확장한다.
4. 실제 코드베이스에 대한 적용 가능성: Eiffel 기반 라이브러리뿐 아니라, 공개 질의와 계약 개념이 존재하는 다른 객체지향 언어(Java, C# 등)에도 동일한 원리를 적용할 수 있다.

이러한 접근은 무작위 테스트의 “폭넓은 탐색” 장점과, 정형화된 사양 기반 테스트의 “깊이 있는 검증” 장점을 조화시켜, 테스트 자동화의 새로운 패러다임을 제시한다.