LLM 기반 게임이론이 사이버보안 시나리오에 미치는 영향

초록

본 논문은 최신 대형 언어 모델(LLM) 네 종류를 활용해 제로섬 일회 게임과 반복형 죄수의 딜레마를 사이버보안 맥락에서 실험한다. 언어·성격·라운드 인식 등 5가지 변수를 조합해 4개 LLM의 행동을 평가했으며, 결과는 언어별·모델별로 일관성 차이와 편향이 존재함을 보여준다.

상세 분석

본 연구는 사이버보안에서 전통적으로 사용되는 게임이론 모델을 LLM 에이전트와 결합하는 최초 시도 중 하나이다. 두 가지 대표 게임, 즉 일회성 제로섬 게임과 10라운드 반복형 죄수의 딜레마를 선택한 이유는 각각 공격‑방어의 직접적인 대립과 장기적인 협력·배신 전략을 탐색할 수 있기 때문이다. 실험에 사용된 LLM은 GPT‑4, Gemini Pro 1.5, Mistral Large, Llama 3.1 405b 로, 각각 온도와 top‑p 등 생성 파라미터를 기본값으로 설정하였다.

핵심 변수는 (1) 사용 언어(영어, 프랑스어, 아랍어, 베트남어, 중국어), (2) 에이전트 성격(협력형 vs 이기형), (3) 라운드 수 인지 여부(알림 vs 미알림)이며, 이는 실제 사이버 공격자가 지리·문화적 배경과 목표 의식에 따라 행동이 달라질 수 있음을 모사한다. 실험은 FAIRGAME 프레임워크를 통해 JSON 기반 설정과 다국어 프롬프트 템플릿을 자동 변환하여 재현성을 확보하였다.

결과는 크게 세 가지로 요약된다. 첫째, 제로섬 게임에서 GPT‑4와 Gemini는 이론적 내시 균형(무작위 혼합 전략)에 가까운 선택을 보였지만, Mistral과 Llama는 특정 전략에 편향된 선택을 반복해 전체 평균 수익이 감소하였다. 둘째, 반복형 죄수의 딜레마에서는 라운드 수를 사전에 알린 경우 협력형 성격을 부여받은 에이전트가 점진적으로 협력을 늘리는 경향을 보였으며, 라운드 수를 모르는 경우에는 초기 탈락이 빈번해 전체 협력 비율이 낮았다. 셋째, 언어별 차이가 눈에 띄었다. 특히 아랍어와 베트남어 환경에서 모델들의 일관성이 크게 떨어졌으며, 동일 언어 내에서도 성격 설정에 따라 선택 편향이 달라졌다. 이는 프롬프트 번역 과정에서 의미 손실이나 모델의 다국어 학습 편차가 원인일 가능성을 시사한다.

정량적 평가지표로는 내부 일관성(동일 언어·조건 반복 실행 시 선택 분포의 KL‑다이버전스)와 교차 언어 안정성(언어 간 선택 분포 상관계수)을 사용했으며, GPT‑4가 가장 높은 안정성을 보였지만, 모든 모델이 완전한 일관성을 달성하지는 못했다. 이러한 결과는 LLM을 사이버보안 시뮬레이션에 직접 적용할 경우, 모델 선택과 프롬프트 설계, 다국어 지원 검증이 필수적임을 강조한다.