머큐리 프로그램 테스트 자동화 프레임워크

초록

본 논문은 머큐리 언어로 작성된 프로그램을 위한 테스트 자동화 프레임워크를 제안한다. 형식화된 테스트 스위트를 기반으로 실행 가능한 머큐리 코드를 자동 생성하고, 각 테스트 케이스의 성공 여부를 보고서 형태로 제공한다. 또한 테스트 실행 시 도달한 코드 영역을 시각화하는 커버리지 도구를 함께 구현하였다.

상세 분석

이 연구는 머큐리(Mercury)라는 선언적 프로그래밍 언어의 특수성을 고려한 테스트 자동화 메커니즘을 설계함으로써, 기존의 프로시저형 언어용 테스트 프레임워크와는 차별화된 접근을 보여준다. 먼저 논문은 테스트 스위트를 “형식화된” 형태로 정의한다. 여기서 형식화란 테스트 케이스를 머큐리의 타입 시스템과 모듈 구조에 맞추어 선언적 서술로 표현하는 것을 의미한다. 이러한 선언은 테스트 입력값, 기대 출력, 전후 조건을 명시적으로 기술하도록 설계되어, 머큐리 컴파일러가 정적 검증을 수행할 수 있게 한다.

프레임워크는 이 선언형 테스트 스위트를 파싱한 뒤, 자동으로 실행 가능한 머큐리 모듈을 생성한다. 생성된 모듈은 원본 프로그램에 대한 래퍼(wrapper) 역할을 수행하며, 각 테스트 케이스를 독립적인 목표(goal)로 변환한다. 머큐리의 고유한 모드 선언과 다중 솔루션 탐색 메커니즘을 활용해, 테스트 실행 중 발생할 수 있는 비결정적 결과를 체계적으로 수집한다. 결과는 성공/실패 플래그와 함께, 실패 시 발생한 구체적인 바인딩 값, 백트랙 경로 등을 포함하는 상세 보고서로 정리된다.

커버리지 도구는 테스트 실행 시 동적으로 삽입된 트레이스 포인트를 이용한다. 머큐리 컴파일러의 중간 표현(IR)에 삽입된 후킹 코드는 각 함수·절·패턴 매칭 분기마다 실행 여부를 기록한다. 수집된 트레이스 데이터는 그래프 형태의 시각화 모듈에 전달되어, 프로그램 구조와 테스트 스위트 간의 매핑을 직관적으로 보여준다. 특히, 머큐리의 모듈 의존성 그래프와 결합된 시각화는 테스트가 미치지 못한 영역(코드 블록, 모드 전이 등)을 한눈에 파악하게 해준다.

성능 측면에서 논문은 자동 생성된 테스트 모듈이 원본 프로그램에 비해 평균 1.2배 정도의 실행 오버헤드를 발생시킨다고 보고한다. 이는 머큐리의 정적 최적화가 일부 손실되지만, 테스트 자동화와 커버리지 분석을 동시에 제공한다는 트레이드오프를 감안하면 합리적인 수준이다. 또한, 프레임워크는 기존 머큐리 빌드 시스템과 무결점 통합이 가능하도록 설계되어, 별도의 외부 스크립트나 래퍼 언어에 의존하지 않는다.

한계점으로는 현재 지원되는 테스트 표현이 단순한 입력‑출력 매핑에 국한되어 있어, 복잡한 상태 머신이나 비결정적 검색 문제에 대한 테스트 설계가 다소 번거롭다는 점을 들 수 있다. 또한, 시각화 모듈이 그래프 기반이므로 대규모 프로젝트에서는 화면 복잡도가 급격히 증가할 가능성이 있다. 향후 연구에서는 테스트 스위트의 계층적 구조화와, 커버리지 데이터의 집계·요약 기능을 강화함으로써 이러한 문제를 완화하고자 한다.

전반적으로 이 프레임워크는 머큐리 언어의 정적 타입 검증과 논리적 추론 능력을 활용한 테스트 자동화 파이프라인을 제공함으로써, 선언적 프로그래밍 환경에서도 체계적인 품질 보증이 가능함을 입증한다.