LLM과 퍼징을 결합한 최약 전제 자동 생성

초록

본 논문은 대형 언어 모델(LLM)과 퍼징 테스트를 연계한 ‘퍼징 가이드(Fuzzing Guidance, FG)’ 기법을 제안한다. FG는 후보 최약 전제(Weakest Precondition, WP)를 검증·약화 평가하여 피드백을 LLM에 제공함으로써, 자동으로 정확하고 가장 약한 전제를 도출한다. 실험은 Java 배열 프로그램 벤치마크에서 수행했으며, FG를 적용한 LLM이 기존 제로샷 프롬프트 대비 WP 품질과 범위가 크게 향상됨을 보였다.

상세 분석

본 연구는 프로그램 검증에서 핵심적인 역할을 하는 최약 전제(Weakest Precondition, WP)의 자동 생성 문제에 새로운 접근법을 제시한다. 기존 WP 도출 기법은 수학적 형식화와 자동 증명 도구에 의존해 루프 불변식 등 복잡한 수식적 분석이 필요했으며, 루프가 포함된 경우 문제의 불완전성으로 인해 인간의 개입이 필수적이었다. 이러한 한계를 극복하고자 저자들은 대형 언어 모델(LLM)의 코드 이해·생성 능력과 퍼징 테스트의 실행 기반 피드백을 결합한 ‘퍼징 가이드(Fuzzing Guidance, FG)’ 프레임워크를 설계하였다.

FG는 두 단계의 퍼징을 수행한다. 첫 번째인 유효성 퍼징(validity‑fuzzing)은 후보 WP가 실제 프로그램 실행 시 포스트컨디션을 만족하도록 하는 초기 상태만을 생성하도록 시도한다. 후보 WP를 만족하지만 포스트컨디션을 위배하는 입력이 발견되면 해당 WP는 ‘유효하지 않음’으로 판정된다. 두 번째인 약함 퍼징(weakness‑fuzzing)은 이미 유효하다고 판단된 WP가 가능한 가장 넓은 입력 집합을 포괄하는지 검증한다. 즉, WP를 만족하지 않지만 포스트컨디션을 만족하는 입력이 존재하면 WP가 충분히 약하지 않다고 판단한다. 이러한 피드백은 프롬프트에 삽입되어 LLM에게 컨텍스트를 재정의하도록 유도한다. LLM은 반복적인 ‘repair‑validity’와 ‘repair‑weakness’ 프롬프트를 통해 점진적으로 WP를 개선한다.

실험은 Java 기반의 결정적 배열 프로그램 4개의 벤치마크(정렬, 복사, 검색 등)에서 수행되었다. 후보 WP 생성에는 GPT‑4o와 O4‑mini 두 모델을 사용했으며, FG 적용 전후의 정확도와 약함 정도를 정량화하였다. 결과는 FG가 적용된 경우, 제로샷 프롬프트 대비 WP의 유효성 비율이 평균 35% 상승하고, 약함 측면에서도 28% 이상의 개선을 보였음을 보여준다. 특히 비용이 낮은 비추론 모델(GPT‑4o)도 FG를 통해 추론 모델(O4‑mini) 수준의 성능을 달성했다는 점이 주목할 만하다.

기술적 기여는 다음과 같다. 첫째, LLM과 퍼징을 결합한 피드백 루프를 통해 자동 WP 생성의 정확성과 범위를 동시에 향상시켰다. 둘째, FG는 모델 종류에 구애받지 않으며, 향후 더 강력한 LLM이 등장하면 그대로 적용 가능하도록 설계되었다. 셋째, 기존 형식적 방법이 다루기 어려운 비정형 프로그램(예: 복합 배열 연산)에도 적용 가능함을 실험적으로 입증했다. 마지막으로, WP 생성 과정에서 발생할 수 있는 ‘과도한 제한’과 ‘과도한 허용’ 두 가지 오류 유형을 명확히 구분하고, 각각에 대한 자동 교정 메커니즘을 제공한다.

하지만 한계도 존재한다. FG는 퍼징 도구의 탐색 능력에 크게 의존하므로, 입력 공간이 매우 큰 경우 충분한 커버리지를 확보하기 어렵다. 또한, 현재 구현은 결정적 루프와 배열 연산에 초점을 맞추었으며, 재귀 호출이나 동시성 등 복잡한 제어 흐름을 포함한 프로그램에 대한 확장성은 미흡하다. 마지막으로, LLM의 ‘환각(hallucination)’ 문제는 여전히 존재하며, FG가 완전한 검증을 제공하지 못하므로 인간 전문가의 최종 검토가 필요하다.

전반적으로 본 논문은 자동 WP 생성 분야에 새로운 패러다임을 제시하며, LLM과 실행 기반 테스트를 결합한 하이브리드 접근법이 실용적인 검증 도구로 성장할 가능성을 보여준다.