일관성과 검증이 만난 테스트 자동생성: 코드 없이 신뢰성 높은 LLM 테스트 생성기 ConVerTest

초록

ConVerTest는 LLM 기반 테스트 자동생성에서 코드 구현을 필요로 하지 않도록 설계된 두 단계 파이프라인이다. 첫 단계에서는 Self‑Consistency를 이용해 다수의 테스트 스텁을 생성하고, 다중 샘플링 후 다수결로 가장 일관된 완성형 테스트를 만든다. 동시에 Chain‑of‑Verification을 통해 코드 초안을 검증 질문‑답변 순환으로 반복 개선한다. 두 번째 단계에서는 생성된 테스트와 코드 후보들을 상호 실행해 일치하는 쌍을 찾는 Dual Execution Agreement를 적용, 검증을 통과한 테스트만 최종 테스트 스위트에 포함한다. BIGCODEBENCH와 LBPP 벤치마크에서 테스트 유효성, 라인 커버리지, 뮤테이션 스코어를 각각 최대 39 %, 28 %, 18 % 향상시켰다.

상세 분석

본 논문은 LLM이 자동으로 테스트 케이스를 생성할 때 발생하는 ‘환각(hallucination)’ 문제와, 구현 코드를 오라클로 사용하는 전통적 검증 방식의 한계를 정확히 짚어낸다. 이를 해결하기 위해 제안된 ConVerTest는 세 가지 핵심 메커니즘을 조합한다. 첫째, Self‑Consistency(SC)는 동일 프롬프트에 대해 다중 샘플링을 수행하고, 가장 빈번히 등장하는 완성형을 선택함으로써 테스트 스텁 단계에서 다양성을 확보하고, 완성 단계에서는 일관된 어설션을 도출한다. 이때 AST 기반 클러스터링을 통해 변수명·포맷 차이를 무시하고 논리적 동일성을 판단한다는 점이 실용적이다. 둘째, Chain‑of‑Verification(CoVe)은 코드 생성에 인간 코드 리뷰 과정을 모방한다. 초기 코드(베이스라인)를 만든 뒤, 문제 명세와 코드에 기반한 검증 질문을 자동 생성하고, 각 질문에 대한 답변을 독립적으로 도출한다. 질문‑답변 결과를 종합해 코드의 논리적 결함을 식별하고, 이를 반영해 코드를 재작성한다. 이 반복 과정을 통해 단순 패턴 매칭이 아닌, 논리적 일관성을 갖춘 코드가 생성된다. 셋째, Dual Execution Agreement는 생성된 테스트와 코드 후보를 교차 실행한다. 테스트를 통과한 코드와, 동일 테스트 집합을 통과한 코드들을 ‘컨센서스 세트’로 묶고, 세트 규모와 테스트 수를 점수화해 최종 솔루션을 선정한다. 흥미롭게도, 이 메커니즘을 테스트 검증에도 역활시켜, 테스트 자체가 코드와 상호 검증을 거치도록 함으로써 테스트의 신뢰성을 추가로 확보한다. 실험에서는 BIGCODEBENCH와 LESS BASIC PYTHON PROBLEMS(LBPP) 두 대규모 벤치마크에 대해, 기존 LLM 기반 테스트 생성기(예: Gemma‑3.3, CodeQwen‑3) 대비 테스트 유효성 비율을 7‑39 % 상승시켰으며, 라인 커버리지는 평균 28 % 개선, 뮤테이션 스코어는 18 % 향상되었다. Ablation Study에서는 SC만 적용했을 때와 CoVe만 적용했을 때 각각 7‑19 %·5‑12 %의 개선에 그쳤으나, 세 요소를 모두 결합한 ConVerTest가 가장 높은 성능을 보였다. 또한, 데이터와 코드를 공개함으로써 재현성을 확보하고, 향후 연구에서 이 파이프라인을 확장하거나 다른 언어·도메인에 적용할 수 있는 기반을 제공한다. 한계점으로는 테스트 스텁 생성 단계에서 여전히 복잡한 입력 구조를 완벽히 포괄하지 못할 수 있고, Dual Execution Agreement가 후보 코드 수에 따라 계산 비용이 급증한다는 점을 들 수 있다. 향후 연구에서는 테스트 스텁 단계에 메타학습 기반 다양성 강화 기법을 도입하거나, 실행 비용을 줄이기 위한 샘플링 전략 최적화를 고려할 여지가 있다.