지식 그래프 기반 RAG 크롤러 공격

초록

본 논문은 Retrieval‑Augmented Generation(RAG) 시스템의 지식 베이스를 효율적으로 탈취하기 위해, 적응형 확률적 커버리지 문제(ASCP)로 모델링하고, 지식 그래프를 활용한 공격 프레임워크인 RAGCrawler를 제안한다. 제한된 쿼리 예산 하에서 조건부 기대 한계이득(CMG)을 추정·최적화함으로써 기존 휴리스틱 기반 공격보다 44.9% 높은 커버리지를 달성한다.

상세 분석

이 연구는 RAG 시스템이 생성 과정에서 외부 문서 컬렉션을 검색해 활용한다는 점에 착안해, 해당 문서 집합 자체가 지식 재산(IP)이라는 새로운 위협 모델을 제시한다. 기존 연구들은 다중 턴 질문을 통해 점진적으로 문서를 추출했지만, 쿼리 선택이 지역적 히스토리에만 의존해 탐색 효율이 급격히 감소한다는 한계를 가지고 있었다. 저자들은 이를 “RAG Crawling”이라는 적응형 확률적 커버리지 문제(ASCP)로 정형화한다. 여기서 각 쿼리는 확률적 행동이며, 실행 시 숨겨진 문서 집합의 부분을 노출한다. 목표는 제한된 쿼리 예산 B 내에서 기대 커버리지를 최대화하는 것이며, 이는 적응형 단조성 및 적응형 서브모듈러리티를 만족하므로, 조건부 기대 한계이득(CMG)을 매 단계 최대화하는 적응형 그리디 정책이 (1‑1/e) 근사 보장을 제공한다는 이론적 근거를 제공한다.

실제 공격 구현에서 세 가지 실질적 난관을 제시한다. 첫째, CMG는 공격자가 실제 문서에 접근하지 못하므로 직접 관측할 수 없으며, 따라서 추정이 필요하다. 둘째, 자연어 쿼리 공간은 무한에 가깝기 때문에 전수 탐색이 불가능하다. 셋째, 쿼리는 서비스 제공자의 정책을 위반하지 않아야 하며, 리라이터나 멀티‑쿼리 검색과 같은 방어 메커니즘에도 견고해야 한다.

RAGCrawler는 이러한 난관을 해결하기 위해 세 단계 파이프라인을 설계한다. ① 지식 그래프 구축 단계에서는 응답으로부터 추출한 엔터티와 관계를 KG 형태로 정리해 전역 상태를 유지한다. 이 그래프는 현재까지 노출된 문서와 아직 탐색되지 않은 영역을 시각화하고, 각 엔터티의 커버리지 기여도를 추정하는 기반이 된다. ② 전략 스케줄링 단계에서는 KG 성장률과 히스토리적 이득을 기반으로 “시맨틱 앵커”(high‑value semantic anchors)를 선정한다. 앵커는 아직 커버되지 않은 관계(예: 특정 이슈‑핫픽스 쌍)나 빈도가 낮은 노드로 정의되며, 이는 CMG 추정값이 높은 행동 후보군으로 축소한다. ③ 쿼리 생성 단계에서는 선택된 앵커를 자연어로 변환한다. 여기서는 프롬프트 엔지니어링과 히스토리‑어웨어 디듀플리케이션 기법을 적용해, 동일한 정보가 중복 조회되지 않도록 하면서도 정책‑친화적인 문장을 만든다. 결과적으로 공격자는 제한된 쿼리 예산 내에서 전역적인 커버리지를 최적화할 수 있다.

실험은 네 개의 공개·비공개 데이터셋(예: 기업 내부 트러블슈팅 문서, 기술 매뉴얼)과 네 종류의 RAG 파이프라인(기본 BGE 리트리버, 리라이터 적용, 멀티‑쿼리 적용, 방어 강화 버전)에서 수행되었다. 1,000개의 쿼리 제한 하에 평균 66.8%의 문서 커버리지를 달성했으며, 최고 84.4%까지 도달했다. 이는 기존 최강 성능 베이스라인 대비 44.90% 향상이며, 70% 커버리지를 달성하는 데 필요한 쿼리 수는 평균 4.03배 적었다. 탈취된 문서 집합을 이용해 서브시스템을 재구성한 경우, 원본 RAG와의 답변 유사도(ROUGE‑L 기반)는 0.699에 이르렀다. 또한, 리트리버 교체, 쿼리 리라이터, 멀티‑쿼리 등 최신 RAG 변형에도 동일한 프레임워크가 적용 가능함을 보였다.

이 논문의 주요 기여는 다음과 같다. 첫째, RAG 지식 베이스 탈취를 정형화된 최적화 문제(ASCP)로 모델링하고, 적응형 그리디 정책의 근사 보장을 제공함으로써 이론적 토대를 마련했다. 둘째, 전역 KG 기반의 공격자‑사이드 상태를 활용해 CMG를 추정·스케줄링하고, 실용적인 자연어 쿼리 생성 메커니즘을 구현함으로써 실제 서비스에 적용 가능한 시스템을 제시했다. 셋째, 다양한 방어 메커니즘과 아키텍처 변형에 대한 광범위한 실험을 통해 제안 방법의 일반성과 위협 수준을 입증했다. 연구 결과는 RAG 시스템 설계 시 지식 베이스 보호를 위한 새로운 방어 전략(예: 응답 난수화, 문서 접근 제한, 쿼리 흐름 분석) 도입의 필요성을 강력히 시사한다.