LLM으로 IaC 보안 믿을 수 있을까

초록

본 논문은 GPT‑4o와 Gemini 2.0 Flash 두 최신 대형 언어 모델이 인프라스트럭처‑코드(IaC) 보안 냄새를 탐지하고, 안전한 코드를 자동 생성하는 능력을 평가한다. Stack Overflow와 GitHub에서 수집한 실제 Ansible·Puppet 스크립트를 대상으로 일반 프롬프트와 단계별 가이드 프롬프트를 비교했으며, 보안 냄새 탐지율은 가이드 프롬프트 사용 시 78 %까지 상승한다. 그러나 보안 코드 자동 생성에서는 89개의 취약 시나리오 중 7 %만이 완전 안전했으며, 명시적 “안전하게 생성” 지시를 추가해도 GPT‑4o는 17 %에 머물렀다. 결과는 현재 LLM이 IaC 보안 지원에 제한적이며, 특히 자동 보안 코드 생성에서는 추가 연구가 필요함을 시사한다.

상세 분석

이 연구는 두 가지 핵심 질문(RQ 1, RQ 2)에 초점을 맞추어 LLM의 IaC 보안 지원 가능성을 정량적으로 검증한다. 첫 번째 질문은 “LLM이 IaC 코드에서 보안 냄새를 얼마나 효과적으로 탐지할 수 있는가”이며, 이를 위해 저자들은 Stack Overflow와 GitHub 두 데이터셋을 구축했다. Stack Overflow 데이터는 2 569개의 포스트 중 169개가 보안 냄새를 포함한 코드 스니펫으로 선정되었고, GitHub 데이터는 21 757개의 파일 중 430개를 표본으로 추출해 수동 라벨링하였다. 라벨링 과정은 두 명의 전문가가 독립적으로 수행하고, Cohen’s kappa = 0.93(소스)·0.89(GitHub)로 높은 일관성을 보였다.

탐지 실험에서는 일반 프롬프트와 가이드 프롬프트 두 종류를 사용했다. 일반 프롬프트는 “보안 전문가로서 코드를 분석해 주세요”라는 단순 지시였으며, 가이드 프롬프트는 단계별로 “도구 식별 → 보안 냄새 열거 → 라인 번호와 CWE 매핑 → 안전한 대안 제시”와 같은 구체적 절차를 명시했다. 결과는 가이드 프롬프트가 탐지 정확도를 현저히 끌어올렸음을 보여준다. Stack Overflow에서는 GPT‑4o가 80 %→88 %로, Gemini가 71 %→78 %로 상승했으며, GitHub에서는 일반 프롬프트 시 GPT‑4o가 42 %·Gemini가 51 %에 불과했지만 가이드 프롬프트 적용 후 각각 67 %·67 % 수준으로 크게 개선되었다.

보안 냄새 종류별 분석에서는 특히 “Hard‑coded secret”, “Weak cryptography”, “Admin by default” 등 고위험 항목에서 탐지율 차이가 두드러졌다. GPT‑4o는 일반 프롬프트에서도 상대적으로 높은 F1 점수를 기록했지만, 두 모델 모두 구체적인 코드 수정 제안은 5 % 이하에 불과했고, 대부분은 일반적인 보안 권고에 머물렀다.

두 번째 질문은 “LLM이 보안에 취약한 시나리오에서 안전한 IaC 코드를 생성할 수 있는가”이다. 저자들은 89개의 합성 시나리오(예: S3 버킷 퍼미션 과다, SHA‑1 사용 등)를 설계하고, 각 모델에 두 가지 프롬프트(일반 vs. “안전하게 생성”)를 제공했다. 전체 결과는 매우 낮은 보안 코드 비율을 보였으며, 일반 프롬프트에서는 GPT‑4o와 Gemini 모두 7 % 미만이 완전 안전했으며, 안전 지시를 추가해도 GPT‑4o는 17 %까지 상승했을 뿐이다. Gemini는 8 % 수준으로 변동이 거의 없었다. 또한, 44 %(GPT)·34 %(Gemini)의 출력은 보안 냄새를 포함했음에도 불구하고 경고를 제공하지 않아, 개발자가 위험을 인지하기 어렵게 만든다.

이러한 결과는 LLM이 복잡하고 전체 프로젝트 수준의 IaC 파일을 분석할 때는 여전히 한계가 있음을 시사한다. 특히, 자동 보안 코드 생성에서는 모델이 기존 학습 데이터에 내재된 편향을 그대로 반영해, 보안에 취약한 패턴을 그대로 재현하는 경향이 있다. 가이드 프롬프트가 탐지 단계에서는 효과적이지만, 생성 단계에서는 단순 지시만으로는 충분치 않다. 따라서 향후 연구는 (1) 보안 냄새 사전 정의와 연계된 프롬프트 엔지니어링, (2) 모델 내부의 보안 지식 강화, (3) LLM 출력에 대한 실시간 정적 분석 도구와의 연동을 통해 보안 검증을 자동화하는 방안을 모색해야 한다.

요약하면, 현재 상용 LLM은 IaC 보안 냄새 탐지에서 가이드 프롬프트를 활용하면 어느 정도 신뢰성을 확보할 수 있지만, 안전한 IaC 자동 생성에서는 아직 미흡하며, 실무 적용을 위해서는 추가적인 검증 및 보완 메커니즘이 필수적이다.