제약 프로그램 테스트 자동화 프레임워크

초록

본 논문은 초기 선언적 모델을 오라클로 삼아, 정제된 제약 프로그램의 비일치성을 자동으로 탐지하는 CPTEST 도구와 테스트 프레임워크를 제안한다. Golomb ruler와 자동차 시퀀싱 문제를 사례로 비정상성을 성공적으로 발견한다.

상세 분석

이 논문은 제약 프로그래밍 분야에서 테스트 공학이 상대적으로 소홀히 다루어져 온 점을 지적하고, 특히 모델 정제 단계에서 발생하는 오류를 체계적으로 검출할 필요성을 강조한다. 저자들은 초기 선언적 모델을 “모델‑오라클”이라 정의하고, 이를 정제된 구현 모델(Constraint Program Under Test, CPUT)과 비교하는 네 가지 정합성 관계(conf one, conf all, conf opt min, conf opt max)를 제시한다. 각 관계는 해 집합의 포함·동등·목표값 범위 등을 기준으로 하여, 제약 만족 문제와 최적화 문제에 각각 적합한 검증 기준을 제공한다.

프레임워크의 핵심은 오라클 모델이 보장하는 해 집합을 기반으로, CPUT가 생성하는 해가 오라클의 제약을 위반하는지 여부를 자동으로 판단하는 테스트 목적(test purpose)을 도출하는 것이다. 이를 위해 저자들은 “비정합성 탐지”를 SAT/SMT 기반 탐색 문제로 변환하고, OPL 등 고수준 제약 언어에 대한 자동 테스트 데이터 생성 알고리즘을 설계한다. 특히, 제약 부정(negation)과 대체(constraint substitution) 기법을 활용해 오라클 모델의 제약을 역으로 적용함으로써, CPUT가 만족해야 할 최소한의 조건을 명시한다.

구현 측면에서는 CPTEST라는 프로토타입 도구를 개발했으며, 이는 OPL 프로그램을 파싱해 모델‑오라클과 CPUT를 추출하고, 정의된 정합성 관계에 따라 테스트 케이스를 자동 생성한다. 실험에서는 Golomb ruler와 자동차 시퀀싱 문제의 두 벤치마크에 대해, 정제된 모델 B가 오라클 모델 A와 비일치함을 몇 초 내에 발견하였다. 예를 들어, Golomb ruler에서 m=8인 경우, CPTEST는 x=