AI 오용에 따른 사이버 보안 위험 정량 모델링

초록

이 보고서는 AI가 사이버 공격에 활용될 경우 위험이 어떻게 증가하는지를 정량적으로 평가한다. MITRE ATT&CK 기반의 9개 공격 시나리오를 베이즈 네트워크와 몬테카를로 시뮬레이션으로 모델링하고, 인간 전문가와 LLM 기반 시뮬레이션 전문가의 델파이 조사 결과를 통합한다. 벤치마크 점수(Cybench, BountyBench)를 위험 요인에 매핑해 AI 성능이 공격 효율, 속도, 범위 등에 미치는 ‘uplift’를 추정한다. 결과는 AI가 공격 성공 확률뿐 아니라 공격자 수·시도 횟수·피해 규모 모두를 상승시킨다는 점을 보여준다.

상세 분석

본 논문은 AI 오용에 따른 사이버 보안 위험을 정량화하려는 최초의 시도 중 하나로, 기존의 정성적 “if‑then” 시나리오 접근법을 넘어 위험 자체를 수치화한다는 점에서 의의가 크다. 연구진은 먼저 9개의 대표적 위험 시나리오를 선정했으며, 각 시나리오는 MITRE ATT&CK 프레임워크의 전술·기술 단계로 세분화된다. 이를 바탕으로 ‘배경 위험(baseline)’ 모델을 구축하는데, 여기서는 공격자 수, 공격 빈도, 성공 확률, 피해 규모 네 가지 위험 요인을 정의하고, 사이버 위협 인텔리전스와 과거 사건 데이터를 활용해 사전 확률을 추정한다.

AI가 투입된 경우를 모델링하기 위해 두 가지 핵심 위험 지표(KRI)를 도입한다. 첫 번째는 AI 능력을 나타내는 벤치마크 점수(Cybench, BountyBench)이며, 두 번째는 이러한 점수가 위험 요인에 미치는 영향을 매핑하는 함수이다. 매핑 과정은 델파이 방식을 사용해 인간 전문가와 LLM‑시뮬레이션 전문가에게 각각 추정치를 제공하도록 설계되었다. 인간 전문가 9명은 두 차례 라운드에 걸쳐 위험 요인별 기대값과 신뢰 구간을 제시했으며, 라운드 사이에 토론을 통해 의견을 조정했다. LLM 기반 추정자는 사전 정의된 프롬프트와 체계적인 샘플링을 통해 동일한 매핑을 자동화했으며, 특히 확률 요인에서는 인간과 유사한 결과를 보였지만, 양적 요인(공격자 수, 시도 횟수 등)에서는 보다 보수적인(낮은) 추정치를 제공했다.

각 전문가의 추정치는 베타·감마·정규 등 적절한 확률분포에 피팅된 뒤, 베이즈 네트워크에 삽입된다. 이후 몬테카를로 시뮬레이션을 10⁵ 회 수행해 전체 위험 분포와 각 요인의 기여도를 추정한다. 결과는 AI가 현재 수준(SOTA)에서도 위험을 전반적으로 상승시킨다는 점을 확인했으며, ‘포화(saturation)’ 단계—벤치마크 과제 전부를 AI가 수행할 수 있을 때—에서는 위험이 더욱 크게 증가한다. 흥미롭게도 위험 상승은 특정 전술에 편중되지 않고, Execution, Impact, Initial Access 등 3개의 전술에서 가장 큰 uplift를 보였지만, 다른 11개 전술에서도 의미 있는 상승이 관측되었다.

위험 요인별 기여 분석에서는 단일 요인이 주도하기보다는 네 가지 요인이 복합적으로 작용한다는 결론에 도달했다. 즉, AI는 공격자의 수를 늘리는 ‘quantity’ 효과와 성공 확률을 높이는 ‘quality’ 효과를 동시에 제공한다. 또한, 인간 전문가와 LLM 추정치 사이의 불확실성 차이를 정량화했는데, 인간은 특히 고난이도 벤치마크 상황에서 높은 불확실성을 보고한 반면, LLM은 전반적으로 낮은 불확실성을 보였다. 이는 LLM이 훈련 데이터와 프롬프트에 과도하게 의존해 현실적 변동성을 충분히 반영하지 못할 가능성을 시사한다.

논문은 한계점도 명확히 제시한다. 첫째, 위험 요인에 대한 데이터가 제한적이며, 특히 최신 AI 기반 공격 사례가 부족해 베이스라인 추정치가 불안정할 수 있다. 둘째, LLM 시뮬레이션은 프롬프트 설계와 모델 선택에 크게 좌우되며, 현재는 인간 전문가와의 교차 검증이 충분히 이루어지지 않았다. 셋째, 베이즈 네트워크 구조와 매개변수 선택이 주관적이며, 다른 설계가 다른 결과를 낼 가능성이 있다. 마지막으로, 실제 정책 적용을 위해서는 더 많은 시나리오와 장기적인 추적 연구가 필요하다.

전반적으로 이 연구는 AI 오용 위험을 정량적으로 파악하고, 정책·방어·벤치마크 설계에 활용할 수 있는 초기 프레임워크를 제공한다. 향후 연구에서는 데이터 품질 향상, LLM 추정기의 신뢰성 강화, 그리고 다중 벤치마크와 실시간 위협 인텔리전스를 결합한 동적 모델링이 필요하다.