LLM 기반 루프 불변식 합성으로 프로그램 검증 가속화

초록

Quokka는 대형 언어 모델(LLM)을 활용해 루프 불변식을 자동 생성하고, 검증 도구와의 연동을 통해 기존 LLM 기반 검증기보다 더 높은 속도 향상을 달성한다. 866개의 벤치마크와 9가지 최신 LLM을 평가한 결과, 최소 1.2배 가속을 81개의 인스턴스에서 달성했으며, 미세조정과 Best‑of‑N 샘플링이 성능을 추가로 개선한다.

상세 분석

본 논문은 프로그램 검증에서 핵심적인 루프 불변식 생성 문제를 LLM에 위임하고, 그 결과를 형식 검증기와 결합하는 새로운 프레임워크 Quokka를 제안한다. 기존 연구는 주로 Daikon과 같은 동적 분석 도구에 의존하거나, 복잡한 “query‑filter‑reassemble”, Houdini 기반 반복 정제 등 맞춤형 알고리즘을 설계해 LLM 출력을 후처리했다. 이러한 접근은 구현 복잡도와 사운드니스 보장이 부족한 점이 있었다. Quokka는 두 단계의 검증기 질의를 통해 후보 불변식의 정당성(da)과 목표 속성의 증명 가능성(db)을 동시에 평가한다. 첫 질의 V(P,∅,q)에서 불변식 q가 실제로 프로그램 전반에 대해 유지되는지를 확인하고, 두 번째 질의 V(P,{q},p★)에서 q를 가정했을 때 최종 어설션 p★가 증명되는지를 판단한다. 이 절차는 형식 검증기의 사운드한 결과에만 의존하므로, 불변식이 틀리더라도 잘못된 증명을 허용하지 않는다. 또한, 불변식이 강할수록 탐색 공간이 축소되어 검증 시간이 크게 단축되는 ‘강도’ 개념을 명시적으로 측정한다. 논문은 이를 정리한 결정 계산법(decision calculus)을 제시하고, 정리 1을 통해 T, F, U 결과가 각각 사운드함을 증명한다. 구현 측면에서는 후보 불변식의 구문 검증을 사전 수행하고, 두 검증 질의를 병렬로 실행해 지연 시간을 최소화한다. 실험에서는 SV‑COMP 2025 최신 베이스라인을 866개 인스턴스로 확장했으며, GPT‑5.2, Claude‑3, Qwen‑2 등 9개 모델을 평가했다. 결과는 Quokka가 기존 LEMUR 대비 최소 1.2배 가속을 81개, 2.0배 가속을 51개 인스턴스에서 달성했음을 보여준다. 특히 Best‑of‑8 샘플링은 99개 인스턴스에서 1.2배 가속을 달성해 단일 샘플 대비 22% 향상을 기록한다. 미세조정을 위한 3,589개 라벨링 데이터는 검증기 기반 필터링으로 품질을 보증했으며, 이를 통해 모델의 불변식 생성 능력이 실질적으로 개선됨을 확인했다. 전체적으로 Quokka는 복잡한 후처리 없이도 사운드하고 효율적인 LLM 기반 검증 파이프라인을 제공한다는 점에서 기존 연구와 차별화된다.