프로토콜 기반 자동 CTF 솔버 STRIATUM‑CTF

초록

**
본 논문은 Model Context Protocol(MCP)을 활용해 LLM과 보안 도구를 정형화된 인터페이스로 연결한 STRIATUM‑CTF 프레임워크를 제안한다. MCP는 명령 스키마 검증과 구조화된 피드백을 제공함으로써 LLM의 환상(hallucination)을 크게 감소시키고, 장기 공격 시나리오에서도 일관된 컨텍스트를 유지한다. 2025년 대학 주최 CTF 대회에서 21개 인간 팀을 제치고 1위를 차지한 실험 결과를 통해 실시간, 동적 환경에서의 자율 공격 능력을 입증한다.

**

상세 분석

**
STRIATUM‑CTF는 세 층 구조(Reasoning Layer, Protocol Layer, Execution Layer)로 구성된 신경‑심볼릭 아키텍처를 채택한다. Reasoning Layer에서는 Claude Sonnet 4.5가 고수준 전략을 생성하고, 직접 시스템 호출을 하지 않도록 격리한다. Protocol Layer는 Model Context Protocol을 구현해 모든 도구 호출을 JSON 스키마로 강제한다. 여기서는 포트 번호, 메모리 주소 등 입력값의 타입과 범위를 사전에 정의해, 비정형 명령이 실행 단계에 도달하기 전에 차단한다. 이러한 “회로 차단기” 역할은 LLM이 흔히 발생시키는 잘못된 플래그, 존재하지 않는 옵션, 혹은 위험한 시스템 명령을 사전에 걸러내어, 실행 환경이 항상 유효한 상태로 유지되도록 만든다. Execution Layer는 컨테이너화된 Nmap, Angr, Ghidra, GDB 등 전문 보안 도구를 MCP 서버 형태로 래핑한다. 도구는 표준 출력·오류를 구조화된 JSON 형태로 반환하고, 이를 다시 Reasoning Layer에 주입함으로써 모델이 토큰 윈도우에 직접 원시 로그를 보관할 필요 없이 핵심 정보만을 컨텍스트에 유지한다.

핵심 기여는 세 가지이다. 첫째, MCP 기반의 프로토콜‑드리븐 에이전트 설계는 도구 사용을 정형화함으로써 환상을 70 % 이상 감소시킨다. 둘째, Angr·Ghidra·GDB와 같은 복합 분석 도구를 스키마‑기반 원시 함수로 추상화해, LLM이 복잡한 바이너리 분석을 토큰 제한 없이 수행하도록 한다. 셋째, 실제 CTF 대회에서 1위라는 실증적 결과를 통해, 정적 벤치마크가 아닌 동적 실시간 환경에서도 프레임워크가 인간 팀을 능가함을 입증한다.

실험에서는 15개의 다양한 CTF 문제(메모리 손상, 역공학, 웹·암호 등)로 구성된 베치마크를 사용했으며, 각 문제를 네 가지 컨텍스트 조건(전체 문서, 템플릿만, 레슨만, 최소 가이드)에서 3회씩 실행했다. 전체 성공률은 전체 문서 조건에서 93 %였으며, 템플릿만 제공했을 때는 78 %로 약간 감소했다. 이는 레슨·가이드가 모델의 초기 탐색 효율을 높이지만, 핵심은 스키마 검증과 구조화된 피드백이라는 점을 시사한다. 또한, 장기 시나리오에서 컨텍스트 드리프트를 방지하기 위해 MCP가 상태를 외부 저장소(파일 시스템)로 관리함으로써 토큰 윈도우 포화 문제를 효과적으로 완화한다는 점도 강조된다.

한계점으로는 현재 MCP 스키마가 도구별로 수작업으로 정의돼 확장성이 제한적이며, 복잡한 멀티스테이지 공격(예: 권한 상승 후 내부 네트워크 이동)에서는 상태 관리가 여전히 도전 과제로 남는다. 또한, 실험에 사용된 LLM은 Claude Sonnet 4.5에 국한돼 다른 모델(예: GPT‑4o)과의 비교가 부족하다. 향후 연구에서는 자동 스키마 생성, 멀티‑에이전트 협업, 그리고 강화학습 기반 정책 최적화를 통해 보다 일반화된 사이버 공격 프레임워크를 구축할 계획이다.

**