보안 사양으로 LLM을 가르치는 취약점 탐지 프레임워크 VulInstruct

초록

VulInstruct는 과거 취약점 패치를 분석해 일반·도메인별 보안 사양을 자동 추출하고, 이를 LLM에 제공해 코드가 기대되는 안전 동작을 위반했는지 근본 원인까지 추론하도록 설계했다. PrimeVul 벤치마크에서 F1 45.0%·Recall 37.7%를 달성했으며, 실제 코드에서 신규 고위험 취약(CVE‑2025‑56538)을 발견했다.

상세 분석

본 논문은 LLM 기반 취약점 탐지의 근본적인 한계가 “보안 사양(Security Specification)”에 대한 모델의 인식 부족임을 지적한다. 사양이란 개발자·보안 전문가가 코드에 기대하는 안전한 동작을 의미하며, 이는 코드 자체에 명시되지 않고 설계·리뷰 단계에서 암묵적으로 공유된다. 기존 LLM은 대규모 코드와 주석을 학습했지만, 이러한 암묵적 기대를 학습 데이터에서 충분히 추출하지 못한다. VulInstruct는 이 문제를 해결하기 위해 두 단계의 자동 파이프라인을 구축한다. 첫 번째 파이프라인은 다양한 오픈소스 프로젝트의 고품질 패치를 수집해, 취약 버전과 수정 버전을 비교함으로써 “일반 보안 사양”을 도출한다. 여기서는 함수 호출, 타입 선언, 임포트 모듈, 전역 변수 등 컨텍스트 정보를 함께 추출해, 기대되는 안전 행동을 자연어 형태의 사양으로 재구성한다. 두 번째 파이프라인은 CVE 데이터베이스를 활용해 동일 레포지토리 혹은 동일 도메인에서 반복적으로 나타나는 취약점 패턴을 분석, “도메인‑특정 보안 사양”을 생성한다. 이는 공격자 관점에서 가장 빈번히 악용되는 기대 위반을 포착한다. 구축된 사양 지식베이스는 새로운 코드 분석 전, 유사한 과거 사례와 연관 사양을 검색해 LLM에게 제공한다. LLM은 제공된 사양을 컨텍스트로 삼아, 단순 텍스트 매칭이 아닌 “예상 안전 동작 위반 여부”를 판단한다. 평가에서는 기존의 단순 라벨링 평가를 넘어, CORRECT 프레임워크를 차용해 예측 라벨과 함께 추론 과정이 올바른지 검증한다. PrimeVul 데이터셋에서 VulInstruct는 가장 강력한 베이스라인 대비 F1 32.7%·Recall 50.8% 향상을 기록했고, 전체 탐지 중 24.3%를 독자적으로 발견해 2.4배의 고유 탐지력을 보였다. 특히, 취약·패치 쌍을 구분하는 Pair‑wise 평가에서도 32.3% 상대 개선을 달성했다. 실무 적용 사례로, VulInstruct는 실제 서비스 코드에서 기존 사양과 일치하는 새로운 고위험 취약(CVE‑2025‑56538)을 찾아내어 개발팀이 즉시 패치하도록 유도했다. 이 결과는 사양 기반 접근이 단순 패턴 기반 방법보다 실시간 보안 위협 탐지에 더 효과적임을 입증한다. 논문은 또한 사양 추출에 LLM 프롬프트를 활용함으로써 별도의 정적 분석 인프라 없이도 자연어 형태의 보안 지식을 자동화할 수 있음을 강조한다.