사이버 탐험가: 실전 공격 시뮬레이션을 통한 LLM 오펜시브 보안 평가

초록

본 논문은 40개의 실제 CTF 기반 웹 취약 서비스를 하나의 가상 머신에 배치하고, 사전 정보 없이 자동 탐색·공격을 수행하는 다중 에이전트 프레임워크인 CyberExplorer를 제안한다. 열린 환경에서의 목표 탐색, 협업, 실패 회귀 등을 정량화하는 새로운 메트릭을 도입해 기존 폐쇄형 벤치마크의 한계를 극복한다.

상세 분석

CyberExplorer는 기존 LLM 기반 오펜시브 에이전트 평가가 갖는 “단일 서비스·플래그 회수”라는 폐쇄형 가정을 탈피한다는 점에서 학술적·실무적 의의가 크다. 첫 번째 핵심은 40개의 웹 취약 서비스를 Docker 컨테이너 형태로 동일 VM에 동시 배포함으로써, 실제 기업 네트워크에서 흔히 마주치는 다중 포트·다중 서비스 환경을 재현했다는 점이다. 서비스 간 통신이 차단된 상태에서 에이전트는 포트 스캔, HTTP 헤더 분석, 파라미터 변조 등 탐색 단계에서 얻은 피드백만으로 취약점을 추론해야 하므로, false‑positive 처리와 탐색 우선순위 결정 능력이 시험된다.

두 번째는 비동기식 다중 에이전트 아키텍처이다. Recon 에이전트가 공격 표면을 맵핑하면, Dispatcher가 각 엔트리 포인트마다 서브그래프를 생성하고, 제한된 비용($0.30)과 시간 예산을 가진 짧은 수명의 Exploit 에이전트 체인을 순차적으로 할당한다. 각 에이전트는 자체 “Self‑Critic” 메커니즘을 통해 50 %·80 % 예산 사용 시 현재 대화 기록을 반성하고, 필요 시 예산 확대를 요청한다. 세 번째 에이전트가 실패하면 별도 Critic LLM이 중간에 개입해 경로 전환을 제안한다. 이러한 설계는 인간 침투 테스트 전문가가 수행하는 “가설‑검증‑피드백” 사이클을 LLM에게 자동화시킨다.

세 번째로 도입된 메트릭 체계는 단순 플래그 회수율을 넘어 “Recon 정확도”, “탐색 효율(에이전트·예산당 발견된 취약점 수)”, “협업 협조도(서브그래프 간 지식 공유 정도)”, “실패 원인 분석(Dead‑End 비율, 실패 접근법 재사용 비율)” 등을 포함한다. 이는 오펜시브 AI의 실전 적용 가능성을 다각도로 평가할 수 있게 한다.

실험에서는 GPT‑5.2, Claude Opus 4.5, Gemini 3 Pro 등 최신 폐쇄형 모델과 DeepSeek V3, Qwen 3 등 오픈소스 모델을 동일 예산 하에 비교하였다. 결과는 대형 폐쇄형 모델이 전반적으로 높은 플래그 회수율을 보였지만, 오픈소스 모델도 효율적인 탐색과 협업 메커니즘을 활용하면 경쟁력 있는 성과를 낼 수 있음을 보여준다. 또한, 예산 제한이 엄격할수록 “Self‑Critic”과 “Critic”의 개입 빈도가 성능 차이를 크게 좌우한다는 점을 확인했다.

한계점으로는 현재 서비스가 모두 웹 기반이며, 시스템·네트워크 레이어 취약점(예: 권한 상승, 내부 라터링)까지는 포함되지 않았다는 점이다. 또한, Docker 컨테이너 간 격리가 완전하지 않아 실제 물리적 호스트에서 발생할 수 있는 사이드 채널이나 자원 경쟁 현상을 완전히 재현하지 못한다. 향후 연구에서는 다양한 프로토콜·서비스를 추가하고, 실제 클라우드 인프라와 연동한 대규모 시뮬레이션을 통해 평가 범위를 확대할 필요가 있다.

요약하면, CyberExplorer는 “열린 공격 환경”이라는 새로운 평가 패러다임을 제시하고, 다중 LLM 에이전트의 협업·반성·예산 관리 메커니즘을 실험적으로 검증함으로써 향후 오펜시브 AI 연구와 실무 적용에 중요한 기준점을 제공한다.