테스트와 정리 증명을 결합한 자동 반례 생성 시스템

초록

본 논문은 ACL2 Sedan(ACL2s)에 테스트와 정리 증명을 긴밀히 통합한 프레임워크를 제안한다. 정리 증명 과정에서 생성된 서브골을 자동으로 단순화·정형화하여 타입 정보를 추출하고, 이를 기반으로 무작위 테스트를 수행해 구체적인 반례를 빠르게 찾는다. 또한 테스트 결과가 거짓을 드러내면 증명 엔진이 일반화 단계를 되돌아가도록 하여 증명 효율을 향상시킨다. 교육 현장에서 신입 학생들의 프로그램 검증 학습에도 적용 가능함을 보였다.

상세 분석

이 연구는 ACL2라는 무타입 논리 기반 정리 증명 시스템에 ‘데이터 정의 프레임워크’를 활용해 타입 추론을 자동화하고, 그 결과를 테스트 엔진에 전달하는 구조적 혁신을 제시한다. 기존 ACL2는 모든 변수에 대해 전역값을 허용하기 때문에 무작위 테스트가 가설을 만족시키는 입력을 찾기 어려웠다. 저자들은 ‘defdata’ 선언을 통해 사용자 정의 타입을 정의하고, 해당 타입에 대한 판별자와 열거자를 자동 생성한다. 열거자는 자연수 → 타입값의 전사함수이며, 이를 무작위 샘플링에 활용해 가설에 부합하는 입력을 효율적으로 생성한다.

정리 증명 과정에서 발생하는 서브골은 종종 변수 삭제·추가, 가설 변형 등으로 원래 골과 형태가 크게 달라진다. 논문은 이러한 서브골을 테스트할 때, 증명 엔진이 기록한 ‘변수 생략 이유’를 이용해 원래 골에 대한 반례를 역추적한다. 또한, 서브골에 포함된 암묵적 사실(예: 전처리 단계에서 도출된 부가 가설)도 테스트 힌트에 활용한다.

핵심적인 두 방향의 피드백 루프가 구현된다. 첫 번째는 ‘증명 → 단순화 → 테스트’ 흐름으로, 증명 엔진이 제공하는 rewrite 규칙·라이브러리 전처리를 통해 복잡한 가설을 단순화하고, 단순화된 형태에서 테스트가 성공 확률을 크게 높인다. 두 번째는 ‘테스트 → 반례 발견 → 증명 백트랙’ 흐름이다. 테스트 단계에서 반례가 발견되면, 해당 일반화가 부적절함을 증명 엔진에 알려 일반화 단계를 취소하고 다른 전략을 시도하도록 강제한다. 이를 위해 ‘override‑hints’와 ‘backtrack‑hints’라는 새로운 computed‑hint 메커니즘을 도입했으며, 이는 사용자가 제공한 힌트를 방해하지 않으면서 자동 힌트를 삽입하고, 필요 시 증명 과정을 되돌릴 수 있게 한다.

또한, 논문은 기존의 SAT/SMT 기반 반례 생성 기법과 비교해 완전 자동화와 실행 가능한 명제에 대한 직접적인 반례 제공이라는 장점을 강조한다. ACL2s는 이미 풍부한 라이브러리(산술, 리스트, 도메인‑특정)와 연동돼 있어, 복잡한 수학적 가설도 테스트 가능하게 만든다. 교육적 측면에서는 신입 대학생이 프로그램을 실행해 보는 경험을 활용해, ‘입력 → 평가 → 반례’ 과정을 자연스럽게 학습하도록 돕는다. 전체 시스템은 Eclipse 기반 IDE와 통합돼 사용자가 별도 명령 없이도 자동 테스트와 증명 피드백을 받을 수 있다.