가짜 경보 실질적 위협 LLM 기반 텍스트 공격이 사이버 위협 정보 시스템에 미치는 위험

초록

본 논문은 대규모 언어 모델(LLM)로 생성된 가짜 사이버 위협 텍스트가 CTI 파이프라인 전반에 미치는 적대적 공격을 분석한다. 회피(evasion), 과부하(flooding), 중독(poisoning) 3가지 공격 유형을 정의하고, LLM 프롬프트 최적화를 통한 가짜 텍스트 생성 방법을 제시한다. 실험 결과, 전문 분류기에서 97%, ChatGPT‑4o 기반 분류기에서 75%의 거짓 양성률(FPR)을 기록해 초기 검증 단계의 취약성을 강조한다.

상세 분석

이 연구는 기존 연구가 개별 머신러닝 모델에 초점을 맞추었던 점을 넘어, 사이버 위협 정보(CTI) 파이프라인 전체를 시스템 수준에서 조망한다. 먼저 저자는 CTI 파이프라인을 데이터 수집, AI 기반 분석, 모니터링·검증, 위협 점수화, 행동 가능성의 5단계로 구조화하고, 각 단계에서 텍스트 입력이 어떻게 처리되는지를 상세히 기술한다. 핵심 취약점은 텍스트 입력이 거의 검증 없이 다음 단계로 전달되는 점이며, 특히 오픈소스 인텔리전스(OSINT) 채널이 신뢰성 검증 없이 활용될 경우 가짜 정보가 누적돼 심각한 오탐을 초래한다.

공격 모델은 회피(evasion), 과부하(flooding), 중독(poisoning)으로 구분된다. 회피 공격은 LLM을 이용해 실제 CTI와 형태·용어가 유사하지만 내용은 허위인 텍스트를 생성한다. 저자는 ‘프롬프트 최적화 + 주제 강화’ 전략을 사용해, CVE 번호, 취약점 점수(CVSS), 공격 기법 명칭 등을 삽입함으로써 기존 분류기의 표면적 특징을 교묘히 모방한다. 실험에서는 전문 학습 기반 분류기와 최신 챗봇 기반 분류기(ChatGPT‑4o)를 대상으로 테스트했으며, 전자는 97%, 후자는 75%의 거짓 양성률을 보였다. 이는 회피 텍스트가 기존 모델의 레이블링 기준을 크게 왜곡함을 의미한다.

과부하 공격은 대량의 회피 텍스트를 지속적으로 주입해 파이프라인의 처리량을 초과시키는 방식이다. 저자는 실시간 스트리밍 환경을 가정하고, 초당 수천 건의 가짜 트윗을 삽입했을 때 모니터링 대시보드가 과부하 상태에 빠져 정상 알림을 놓치는 현상을 재현했다. 중독 공격은 회피·과부하 텍스트를 장기간 저장소에 축적시켜 학습 데이터에 포함시키는 것으로, 이후 재학습 단계에서 모델이 허위 패턴을 정상으로 학습하게 만든다.

이러한 연쇄 효과는 단일 모델 방어만으로는 차단이 어려우며, 파이프라인 초기에 ‘텍스트 진위 검증 모듈’을 삽입해 출처 신뢰도와 내용 일관성을 평가해야 함을 강조한다. 또한, LLM 기반 텍스트 생성이 점점 정교해짐에 따라, 전통적인 교란 탐지 기법(예: 단어 임베딩 기반 이상치 탐지)만으로는 충분하지 않다. 저자는 다중 레이어 검증, 메타데이터 기반 신뢰 점수, 그리고 인간 전문가와의 협업 검증 체계를 제안한다.

전반적으로 이 논문은 CTI 시스템이 오픈소스 텍스트를 그대로 받아들이는 구조적 위험을 밝히고, LLM이 제공하는 대규모 가짜 텍스트 생성 능력이 시스템 전반에 미치는 파급 효과를 실증적으로 입증한다. 이는 사이버 방어 체계가 ‘데이터 신뢰성’이라는 새로운 방어 경계선을 구축해야 함을 시사한다.