에이전트 스킬 마켓 보안을 위한 SkillProbe 분석

초록

SkillProbe는 멀티에이전트 협업을 활용해 에이전트 스킬 마켓플레이스의 보안 취약점을 자동화된 파이프라인으로 검사하는 프레임워크이다. 입문 필터링, 의미‑행동 정합성 탐지, 그리고 스킬 간 조합 위험 시뮬레이션을 “Skills‑for‑Skills” 방식으로 모듈화한다. 2,500개의 실제 스킬을 8가지 LLM에 적용한 결과, 인기 스킬일수록 보안이 낮은 역설적 현상이 드러났으며, 고위험 스킬이 하나의 거대한 연결 컴포넌트를 형성해 위험이 시스템 전반에 퍼짐을 확인했다.

상세 분석

SkillProbe는 기존 정적 분석과 런타임 방어가 놓치는 두 가지 핵심 위협, 즉 의미‑행동 불일치와 스킬 간 조합 위험을 동시에 다루는 최초의 시도라 할 수 있다. 첫 번째 단계인 입문 필터링은 스킬 메타데이터와 기본 권한을 검증해 명백히 위험한 스킬을 사전에 차단한다. 두 번째 단계에서는 스킬 문서(SKILL.md)와 실행 코드 사이의 정합성을 4‑class 정렬 매트릭스로 모델링하고, 이를 라벨 그래프에 투사해 의미적 불일치를 정량화한다. 여기서 의미‑행동 불일치는 문서에 선언된 제한과 실제 코드가 수행하는 동작 사이의 차이로, 악의적인 개발자가 “안전”이라고 선언하면서도 백도어를 삽입하는 경우를 포착한다. 세 번째 단계인 조합 위험 시뮬레이션은 각 스킬을 노드, 스킬 간 데이터 흐름을 엣지로 하는 위험‑링크 그래프를 구축하고, 그래프 탐색을 통해 위험 체인을 자동으로 생성한다. 특히, 위험‑링크 정책을 적용해 연쇄적인 권한 상승이나 데이터 유출 시나리오를 시뮬레이션함으로써, 개별 스킬은 안전해 보이지만 특정 순서로 호출될 때 발생하는 공격을 사전에 탐지한다. 구현 측면에서는 FastAPI와 Vue3 기반의 REPL 인터페이스를 제공해, 다양한 LLM(예: GPT‑4, Claude, Llama 등)과 플러그인형 보안 도구를 손쉽게 연동한다. 실험 결과, 2,500개 스킬 중 90% 이상이 고인기 스킬임에도 불구하고 감사 기준을 통과하지 못했으며, 고위험 스킬이 하나의 거대한 연결 컴포넌트를 형성해 시스템 전반에 퍼지는 ‘위험 전파 체인’ 현상을 확인했다. 이는 단일 스킬이 아닌 스킬 네트워크 전체를 대상으로 하는 거버넌스가 필요함을 시사한다. 또한, SkillProbe가 기존 스캐너가 놓친 제로‑데이 취약성과 복합 조합 공격을 성공적으로 발견함으로써, 멀티에이전트 기반 자동 감사가 실용적이고 확장 가능함을 입증했다.