AI 사이버 챌린지 설계와 자동 취약점 분석 시스템의 교훈

초록

DARPA AI Cyber Challenge(AIxCC)는 LLM 기반 자동 사이버 리소닝 시스템(CRS)을 평가한 최초의 대규모 대회이다. 논문은 대회 구조·채점 방식·프로젝트 선정·반복 설계 과정을 분석하고, 7개 파이널 팀의 아키텍처를 분류·비교한다. 실험 결과는 패치 점수가 가장 큰 성과 요인이며, 엔섬블·에이전트·전통 툴·LLM 결합 전략이 효과적임을 보여준다. 또한 인프라 제약 완화, 다중 라운드 테스트, SARIF 검증 등에서 얻은 교훈을 제시한다.

상세 분석

AIxCC는 기존 CGC와 달리 오픈소스 C·Java 프로젝트를 대상으로 “Full Scan”과 “Delta Scan” 두 가지 모드를 제공하고, SARIF 기반 취약점 검증과 보고서 합성을 개발자 중심 점수 체계에 포함시켰다. 점수는 PoV(12점), Patch(36점), SARIF 평가(0.51점), Bundle(−77점)으로 구성되며, 제출 시점에 따라 감점 비율이 적용돼 실시간 대응 능력을 강조한다. 이러한 설계는 실제 개발 흐름(GitHub webhook)과 연계돼 자동화된 파이프라인을 구현하도록 강제한다.

경쟁 프로젝트는 OSS‑Fuzz와 연동돼 48개의 CP(Challenge Project)를 제공했으며, 63개의 인위적 CPV와 13개의 SARIF 알림을 삽입해 다양성을 확보했다. 프로젝트 규모는 16 KB에서 4.9 MB까지 다양했고, 하네스 수는 1개에서 55개까지 차이나며, 이는 CRSs가 다양한 빌드·테스트 환경에 적응해야 함을 의미한다.

7개 파이널 팀의 아키텍처는 크게 네 가지 패턴으로 분류된다. 첫째, “Ensemble‑First”(AT)는 다중 버그 탐지 모듈과 8개의 패치 에이전트를 결합해 견고성을 높였다. 둘째, “Expertise‑Driven Decomposition”(TB)은 전통 정적·동적 분석을 기본으로 하고, LLM은 보조적 역할에 국한했다. 셋째, “Agentic‑First”(TI)는 버그 후보를 중심으로 LLM 에이전트를 순환시켜 PoV·Patch·SARIF 전 과정을 자동화했다. 넷째, “Simple‑Diverse”(FB)는 90% 이상의 코드를 스크립트 형태로 구현해 빠른 실험과 전략 교체를 가능하게 했다.

기술적 차원에서 PoV 생성 파이프라인은 두 갈래로 나뉜다. 하나는 전통 퍼징·코니컬·지향 퍼징을 기반으로 LLM이 시드·그라머·취약점 설명을 보강하는 방식이고, 다른 하나는 LLM이 직접 입력을 생성·정제해 퍼징 엔진에 전달하는 “LLM‑First” 접근이다. 대부분 팀이 전통 퍼징을 기본으로 삼았으며, LLM은 CWE 가이드 제공, 입력 변형, 결과 정제 등에 활용했다.

점수 분석 결과, Patch 점수가 전체 성과에 가장 큰 영향을 미쳤으며, 높은 정확도(>90%)를 유지한 팀이 평균 12% 이상의 감점 회피 효과를 얻었다. 반면, SARIF 평가 점수는 변동성이 커서 팀 간 차별화 요소가 되지 못했다. Bundle 점수는 올바른 연관성을 만들면 큰 보상을 주지만, 오류 시 큰 패널티가 부과돼 신중한 설계가 요구된다.

대회 운영 측면에서는 초기 ASC 라운드에서 인프라 제약이 과도했음이 드러났으며, AFC에서는 팀이 자체 Azure 클라우드를 사용하도록 완화함으로써 시스템 안정성을 크게 높였다. 또한, 다중 라운드(내부·전시·본선) 테스트를 통해 버그, 네트워크, API 연동 문제를 사전 해결했으며, 이는 최종 라운드에서 0% 시스템 다운을 달성하는 데 기여했다.

마지막으로, 대회 결과는 현재 LLM이 완전 자동화된 취약점 패치까지 도달하기엔 아직 한계가 있음을 보여준다. LLM은 주로 보조적 지식 제공·시드 생성·보고서 작성에 강점을 보였으며, 정교한 코드 변형·정적 분석·컴파일러 수준 검증은 전통 도구에 의존하는 것이 효율적이었다. 따라서 향후 연구는 LLM과 전통 보안 도구의 효율적 결합, 자동화된 테스트·검증 파이프라인 강화, 그리고 실제 개발 환경에 맞는 점수 체계 설계가 필요하다.