LLM 보안 벤치마크: Llama 모델과 OWASP Top 10의 실전 대결

초록

본 연구는 5개의 표준 Llama 모델과 5개의 Llama Guard 변형을 OWASP Top 10 for LLM Applications 프레임워크에 따라 100개의 공격 프롬프트로 평가한다. 작은 파라미터(1 B) Guard 모델이 76 %의 최고 탐지율과 0.165 초의 최소 지연 시간을 기록했으며, 대형 베이스 모델은 0 % 탐지율에 머물렀다. 모델 크기와 보안 성능은 역상관관계를 보이며, 전문화된 경량 모델이 보안 작업에 유리함을 시사한다.

상세 분석

이 논문은 Llama 계열 모델의 보안 역량을 체계적으로 정량화한 최초 사례 중 하나로, OWASP가 정의한 10대 LLM 취약점을 실험 설계에 직접 반영했다는 점이 가장 큰 강점이다. 데이터셋은 각 카테고리당 10개의 프롬프트로 구성돼 23가지의 다양한 주입 기법(예: Base64/Hex 인코딩, 역할 연기, 다중 턴 대화)과 메타데이터(심각도, 서브카테고리)를 포함한다. 이러한 설계는 실제 공격 시나리오와 높은 일치도를 확보해 모델 평가의 외적 타당성을 높인다.

모델 로딩·추론 환경은 NVIDIA A30 GPU(24 GB VRAM)와 PyTorch 2.1.0, HuggingFace Transformers v4.51.3을 사용했으며, 모든 모델을 FP16(정밀도)으로 실행해 실용적인 배포 조건을 모사했다. Guard 모델은 “safe/unsafe” 라벨을 직접 출력하도록 파인튜닝된 구조이며, 표준 Llama 모델은 동일 질문에 대해 텍스트를 생성하고 키워드 파싱으로 이진 판단을 추출한다. 이 차이는 결과 해석에 중요한 편향을 만든다.

성능 지표는 탐지율(Detection), 평균 지연시간(Avg/Test), VRAM 사용량을 동시에 보고한다. 표 1에 따르면, Llama‑Guard‑3‑1B가 76 % 탐지율, 0.165 초 지연, 0.94 GB VRAM 사용으로 가장 효율적이었다. 반면, 대형 베이스 모델인 Meta‑Llama‑3‑8B와 Llama‑3.1‑8B는 각각 0 % 탐지율에 0.77 초 지연, 5.3 GB VRAM을 소비했다. 이는 “크기가 크면 보안이 강해진다”는 기존 편견을 반증한다.

또한, 인스트럭션 튜닝이 보안 감지에 미치는 영향을 확인했다. Llama‑3.1‑8B‑Instruct는 54 % 탐지율을 기록했지만, 동일 모델의 비튜닝 버전은 0 %에 머물렀다. 이는 안전성 학습이 모델의 의도 파악 능력을 크게 향상시킨다는 증거다.

양자화(INT8)와 멀티모달(Vision) 변형은 오히려 성능 저하를 초래했다. Llama‑Guard‑3‑8B‑INT8은 지연이 0.422 초로 두 배 이상 늘었고, 탐지율도 28 %에 불과했다. Vision 모델은 텍스트 전용 안전 판단에 최적화되지 않아 28 % 탐지율에 그쳤다.

카테고리별 분석(표 2)에서는 모델마다 강점과 약점이 상이함을 보여준다. 예를 들어, Llama‑3.1‑8B‑Instruct는 Prompt Injection(100 %)에 강하지만 System Prompt Leakage(0 %)에서는 완전히 무능했다. 반면 Llama‑3.2‑1B는 정보 노출(90 %)과 Supply Chain(100 %)에 뛰어나지만 Injection(50 %)에서는 다소 부족했다. 이러한 결과는 단일 모델로 모든 위협을 방어하기 어렵고, 다중 모델 앙상블이 필요함을 시사한다.

결론적으로, 논문은 (1) 모델 파라미터 규모와 보안 성능이 역상관관계에 있음을, (2) Guard‑type 경량 모델이 실시간 보안 모니터링에 최적임을, (3) 인스트럭션 튜닝과 전용 안전 파인튜닝이 보안 감지에 핵심적 역할을 함을 입증한다. 또한, 시스템 프롬프트 누출과 공급망 공격과 같은 두 카테고리는 현재 모델들이 거의 탐지하지 못해 향후 연구 과제로 남는다.