로컬 LLM을 활용한 파이썬 루프 취약점 탐지 프롬프트 프레임워크

초록

본 연구는 파이썬 3.7 이상 코드에서 루프 관련 취약점을 탐지하기 위해, 로컬 대형 언어 모델(LLaMA 3.2 3B와 Phi 3.5 4B)을 대상으로 설계·평가한 프롬프트 기반 프레임워크를 제안한다. 시스템·사용자 프롬프트를 반복적으로 정제하여 모델을 코드‑컨텍스트에 맞게 설정하고, 세 가지 취약점 카테고리(제어·논리 오류, 보안 위험, 자원 관리 비효율)를 검증한다. 수작업으로 만든 기준 데이터와 비교한 결과, Phi 3.5가 LLaMA 3.2보다 정밀도·재현율·F1 점수에서 우수함을 확인하였다.

상세 분석

이 논문은 기존 정적 분석 도구가 구문 기반 규칙에 의존해 의미적 결함을 놓치는 한계를 지적하고, LLM이 코드의 의미론적 흐름을 파악할 수 있다는 가정 하에 로컬 모델을 활용한 새로운 탐지 파이프라인을 설계했다. 핵심은 “프롬프트 엔지니어링”이다. 연구자는 시스템 프롬프트에 ‘코드 최적화 어시스턴트’, ‘파이썬 3.7+ 전용’ 등 모델의 역할과 제약을 명시하고, 사용자 프롬프트에 구체적인 루프 취약점 정의와 출력 형식을 제시했다. 이러한 이중 프롬프트 구조는 모델이 무작위 답변을 회피하고, 코드 위치와 취약점 유형을 정확히 보고하도록 유도한다.

프레임워크는 세 단계로 구성된다. 첫 번째 단계는 두 명의 숙련된 파이썬 개발자가 독립적으로 코드 샘플을 검토해 만든 ‘베이스라인 진실 데이터’를 구축함으로써 평가 기준을 확보한다. 두 번째 단계에서는 LLaMA 3.2와 Phi 3.5를 동일한 프롬프트 세트로 실행해 자동 추출된 취약점 리스트를 수집한다. 여기서 모델 선택 이유는 파라미터 수가 4 B 이하로 메모리·비용 효율성을 유지하면서도 충분한 언어 이해 능력을 제공한다는 점이다. 세 번째 단계에서는 TP, FP, FN을 기준으로 정밀도·재현율·F1을 산출하고, 두 모델의 성능을 비교한다.

실험 결과, Phi 3.5는 특히 ‘오프‑바이‑원’·‘제어 흐름 오용’ 등 미묘한 논리 오류를 높은 재현율로 포착했으며, LLaMA 3.2는 일부 FP가 다소 높았다. 이는 Phi 3.5가 더 풍부한 사전 학습 데이터와 최신 어텐션 메커니즘을 갖추어 코드‑컨텍스트를 보다 정교히 해석함을 시사한다. 또한, 반복 프롬프트 튜닝 과정을 통해 ‘환각 방지’를 위한 예시 제공과 출력 포맷 제한이 모델의 신뢰성을 크게 향상시켰다.

논문은 로컬 LLM 사용의 실용적 이점을 강조한다. 클라우드 기반 상용 모델은 데이터 프라이버시·지연·종속성 문제를 야기하지만, 로컬 모델은 오프라인 환경에서 즉시 분석이 가능하고, 기업 내부 정책에 맞춰 모델을 미세조정하거나 보안 패치를 적용할 수 있다. 다만, 로컬 모델은 파라미터 규모가 제한적이므로 프롬프트 설계가 성능에 미치는 영향이 크며, 지속적인 프롬프트 최적화와 도메인‑특화 데이터로의 파인튜닝이 필요하다.

결론적으로, 이 연구는 “프롬프트 기반 로컬 LLM”이 루프 취약점 탐지라는 좁은 도메인에서도 충분히 경쟁력 있는 성능을 발휘할 수 있음을 실증하고, 향후 코드 보안 자동화 파이프라인에 로컬 LLM을 통합하는 설계 원칙을 제시한다.