대형 언어 모델을 활용한 소프트웨어 취약점 탐지 연구 동향 종합 분석

초록

본 논문은 2020년 1월부터 2025년 11월까지 발표된 263편의 연구를 체계적으로 검토하여, 대형 언어 모델(LLM)을 이용한 소프트웨어 취약점 탐지 분야의 과제 정의, 입력 표현, 시스템 구조, 적응 기법 및 데이터셋 활용 현황을 정리한다. 세부적인 분류 체계와 데이터셋 품질 분석을 통해 현재의 한계와 향후 연구 방향을 제시하고, 관련 아티팩트를 공개 저장소에 제공한다.

상세 분석

이 연구는 LLM 기반 취약점 탐지 연구가 급격히 확산됨에 따라 발생한 ‘분산된 연구 환경’ 문제를 해결하고자 체계적 문헌 조사(SLR) 방법론을 적용하였다. 먼저 2020‑2025년 사이에 발표된 263개의 논문을 선정하고, 각 논문을 네 가지 축(과제 정의, 입력 표현, 시스템 아키텍처, 적응·오케스트레이션 기법)과 데이터셋 사용 측면에서 메타데이터화하였다. 과제 정의는 크게 ‘분류(classification)’와 ‘생성(generation)’으로 구분되었으며, 전자는 취약점 존재 여부 혹은 CWE 라벨 예측, 후자는 패치 코드 혹은 취약점 설명 자동 생성에 초점을 맞춘다. 입력 표현은 순수 소스코드, 추상 구문 트리(AST), 제어 흐름 그래프(CFG), 그리고 코드와 메타데이터(예: CVE 설명, 라이브러리 의존성)를 결합한 하이브리드 형태로 다양하게 활용되고 있다. 시스템 아키텍처는 (1) 사전 학습된 대형 모델을 그대로 활용하는 ‘Zero‑Shot/Prompt‑Only’ 방식, (2) 파인튜닝(Fine‑Tuning) 혹은 지속 학습(Continual Learning)으로 모델을 도메인에 맞게 재학습하는 방식, (3) 외부 지식베이스·리트리벌 시스템과 결합한 ‘Retrieval‑Augmented Generation(RAG)’ 형태로 구분된다. 적응·오케스트레이션 기법에서는 프롬프트 엔지니어링, 라벨 스무딩, 다중 태스크 학습, 그리고 모델 앙상블이 주요 전략으로 등장한다.

데이터셋 분석에서는 기존 벤치마크(예: Juliet, Devign, BigVul, CodeXGLUE)와 신규 구축 데이터(오픈소스 리포지터리, 산업 파트너 제공 데이터)를 모두 검토하였다. 저자는 데이터셋을 ‘유형(코드, 텍스트, 그래프, 혼합)’, ‘세분화(파일, 함수, 라인)’, ‘출처(오픈소스, 산업, 합성)’, ‘라벨링 방식(자동, 수동, 반자동)’으로 분류하고, 클래스 불균형, CWE 다양성, 중복 비율, 라벨 노이즈 등 품질 지표를 정량화했다. 결과적으로 다수의 데이터셋이 특정 언어(C/C++, Java)와 제한된 CWE 범위에 편중돼 있어 모델 일반화에 한계가 있음을 지적한다.

한계점으로는 (1) 평가 지표의 비표준화—정확도, F1, BLEU 등 다양한 메트릭이 혼용돼 직접 비교가 어려움, (2) 실험 재현성 부족—데이터 분할 방식과 하이퍼파라미터 공개가 미흡, (3) 모델 규모와 비용 문제—GPT‑4 수준의 초대형 모델은 실무 적용이 제한적, (4) 보안 위험—LLM이 생성하는 코드가 새로운 취약점을 내포할 가능성.

향후 연구 방향은 (①) 표준화된 벤치마크와 평가 프로토콜 구축, (②) 다언어·다도메인 데이터셋 확대와 라벨 품질 개선, (③) 효율적인 파인튜닝·프롬프트 최적화 기법 개발, (④) LLM의 보안 신뢰성을 평가하는 메트릭 및 방어 메커니즘 도입, (⑤) 산업 현장과 연계한 지속 가능한 데이터 파이프라인 구축으로 요약된다.