이중루프 기반 자동 취약점 재현 프레임워크

초록

CVE2PoC는 전략적 플래너와 전술적 실행기를 분리한 이중루프 에이전트 구조를 도입해 CVE 설명으로부터 자동으로 PoC 코드를 생성하고, 단계별 검증과 적응형 리파인으로 실패 원인을 전략·전술 수준으로 구분한다. 두 개의 공개 벤치마크에서 기존 최고 성능을 각각 11.3%·20.4% 이상 능가하며, 인간 평가에서도 가독성·재사용성 면에서 인간이 만든 PoC와 동등한 수준을 보였다.

상세 분석

본 논문은 자동 취약점 재현이라는 고난이도 문제를 해결하기 위해 “전략‑전술 이중루프”라는 새로운 아키텍처를 제안한다. 기존 LLM 기반 에이전트들은 단일 사이클(생성‑실행‑피드백)에서 모든 오류를 동일하게 처리함으로써, 공격 전략이 잘못됐는지 구현 버그인지 구분하지 못하고 비효율적인 디버깅 루프에 빠지는 한계를 가지고 있었다. CVE2PoC는 이를 해소하기 위해 세 개의 핵심 모듈을 설계한다.

1️⃣ Strategic Planner는 CVE 텍스트와 대상 코드베이스를 동시에 분석해 ‘공격 계획(Attack Plan)’이라는 구조화된 중간 표현을 만든다. 여기에는 취약점 유형, 트리거 조건, 필요한 전제 환경, 입력 흐름 등이 명시된다. 이를 통해 코드 생성을 시작하기 전에 공격 로직을 명확히 정의함으로써 전략적 오류를 사전에 차단한다.

2️⃣ Tactical Executor는 계획을 바탕으로 실제 PoC 코드를 생성하고, “진보적 다계층 검증”을 수행한다. 구문 검사 → 정적 타입/데이터 흐름 검증 → 실행 환경 셋업 → 동적 실행 로그 분석 → 차등 테스트(취약 버전 vs 패치 버전) 순으로 진행해 실패 지점을 정확히 파악한다. 특히 차등 테스트는 동일 버전이 없을 경우 시뮬레이션 오라클을 활용해 ‘취약점 특이 행동’을 식별한다.

3️⃣ Adaptive Refiner는 검증 결과를 해석해 두 가지 피드백 경로 중 하나를 선택한다. 구현 오류(예: API 호출 실수, 파라미터 형식 오류)는 Tactical Loop으로 돌아가 코드를 재작성하고, 전략 오류(예: 잘못된 공격 벡터 선택, 트리거 조건 오해)는 Strategic Loop으로 전환해 새로운 공격 계획을 수립한다. 또한, “희소 경험 인덱스”를 유지해 과거 성공·실패 사례를 효율적으로 검색, 컨텍스트 토큰 오버헤드를 최소화한다.

실험에서는 npm 기반 취약점 벤치마크 SecBench.js(387건)와 다언어(Go, JavaScript, Python) PatchEval(230건) 두 데이터셋에 대해 평가하였다. CVE2PoC는 각각 82.9%·54.3%의 재현 성공률을 기록했으며, 이는 기존 최고 성능 대비 11.3%·20.4% 향상된 수치다. 인간 평가에서는 가독성(4.15/5)과 재사용성(4.08/5)에서 기존 자동 생성 PoC(3.62/5, 3.71/5)를 능가했다.

이러한 결과는 (1) 사전 구조화된 전략 설계가 공격 방향 오류를 크게 감소시킨다, (2) 다계층 검증이 구현 버그와 전략 오류를 명확히 구분한다, (3) 적응형 리파인이 경험 재활용을 통해 토큰 효율성을 유지하면서도 빠른 회귀를 가능하게 한다는 점을 입증한다. 논문은 또한 LLM 기반 보안 자동화가 단순 코드 생성에서 ‘전략적 사고’를 포함하도록 확장될 필요성을 강조한다.