테스트와 증명을 결합한 소프트웨어 검증 혁신

초록

디자인 바이 컨트랙트와 SMT 기반 증명기의 반례 생성 기능을 활용해, 증명 실패를 자동 테스트와 자동 수리로 전환하는 방법을 제시한다. Proof2Test, Proof2Fix, Seeding Contradiction 세 가지 기법을 통해 검증, 회귀 테스트, 자동 프로그램 수리까지 한 흐름으로 연결한다.

상세 분석

이 논문은 동적 검증(테스트)과 정적 검증(증명)을 대립 관계가 아니라 상호 보완적인 관계로 재구성한다. 핵심은 ‘계약(Design by Contract)’이라는 명시적 사양을 프로그램 코드에 직접 삽입하고, 이를 기반으로 SMT‑solver가 반례(counterexample)를 탐색하도록 하는 점이다. 증명이 성공하면 반례가 존재하지 않으며, 증명이 실패하면 solver가 찾아낸 구체적인 입력값이 바로 테스트 케이스가 된다.

Proof2Test는 실패한 증명으로부터 최소화된 반례를 추출하고, 이를 실행 가능한 테스트 코드로 자동 생성한다. 이는 개발자가 “포스트컨디션 위반”이라는 추상적인 오류 메시지 대신, 실제 입력·출력 예시를 확인함으로써 버그 원인을 빠르게 파악하도록 돕는다. 또한, 동일한 반례를 회귀 테스트에 저장함으로써 향후 수정 후에도 동일한 결함이 재발하지 않도록 보장한다.

Proof2Fix는 위의 반례를 이용해 자동 프로그램 수리를 수행한다. 기존 APR(Automatic Program Repair) 기법은 테스트 기반으로 후보 수정을 생성하고, 테스트 통과 여부로 검증한다. 여기서는 계약 기반 반례가 “정확히 틀린 입력”을 제공하므로, 수리 후보가 계약을 만족하는지 SMT‑solver를 통해 형식적으로 검증한다. 따라서 수리 결과가 증명 수준의 정확성을 갖는다.

Seeding Contradiction은 의도적으로 프로그램에 모순을 삽입해 증명을 실패하게 만든 뒤, Proof2Test를 적용해 대량의 테스트 케이스를 자동 생성한다. 루프 언롤링과 결합해 다양한 반복 횟수를 커버하고, MC/DC(Modified Condition/Decision Coverage)와 같은 산업 표준 커버리지를 정량적으로 평가한다.

전체 흐름은 Eiffel 언어와 EiffelStudio 환경에 깊게 통합되어 있다. 계약은 사전조건, 사후조건, 루프 불변식, 변이식 등 다양한 형태로 제공되며, 이는 SMT‑solver가 요구하는 Hoare 논리와 weakest‑precondition 계산에 직접 활용된다. 증명 도구인 AutoProof는 Boogie와 Z3을 내부 엔진으로 사용하고, BVD·Boogaloo 같은 디버거와 연계해 반례 정보를 추출한다. 논문은 이러한 파이프라인을 실제 사례와 실험 결과를 통해 검증하고, 기존 테스트‑전용 도구와 비교해 테스트 생성 효율성 및 자동 수리 성공률이 크게 향상됨을 보여준다.

이러한 접근은 ‘정적 디버깅’과 ‘동적 디버깅’ 사이의 간극을 메우며, 개발자가 증명 실패를 단순한 실패 메시지가 아니라 구체적인 테스트와 수리 기회로 전환하도록 만든다. 특히, 계약 기반 사양이 없는 언어에서는 적용이 제한될 수 있지만, JML, Spec# 등 외부 계약 프레임워크와의 연계 가능성도 논의된다.