효율적인 검색증강 생성을 위한 최소 추론 그래프 가지치기

초록

AutoPrunedRetriever는 질문‑답변 과정에서 생성된 최소 추론 서브그래프를 지속적으로 저장하고, 새로운 질문이 들어올 때 이를 증분적으로 확장한다. 엔티티·관계는 ID‑인덱스 코드북에 압축 저장되며, 두 단계의 별도 통합·가지치기 정책을 통해 메모리를 최소화한다. 실험 결과, 기존 GraphRAG 기반 모델보다 토큰 사용량을 최대 100배 줄이면서 의료·STEM·TV 등 복합 추론 벤치마크에서 9~11점 높은 정확도를 달성한다.

상세 분석

본 논문은 검색증강 생성(RAG) 시스템이 매 질의마다 전체 코퍼스를 다시 검색하고, 긴 텍스트를 그대로 LLM에 전달함으로써 발생하는 토큰·지연·비용의 비효율성을 근본적으로 해결하고자 한다. 핵심 아이디어는 “최소 추론 그래프”를 구축하고 이를 지속적으로 재사용·증분 확장하는 것이다. 이를 위해 저자들은 다음과 같은 설계 원칙(P1‑P3)을 제시한다.

1. 지역적·증분 구조(P1) – 전역 그래프를 일괄 구축하는 대신, 텍스트를 삼중항(E‑R‑E)으로 파싱하고, 작은 “런(run)”이라 불리는 로컬 서브그래프에 순차적으로 삽입한다. 각 런은 의미적 응집도와 구조적 연속성을 점수화해 현재 그래프에 적합하면 추가하고, 그렇지 않으면 새로운 런을 시작한다. 이렇게 하면 전역 엔티티 재링크 비용을 피하면서도 동일한 ID를 공유해 전역 일관성을 유지한다.

2. 경로 중심 검색(P2) – 전통적인 이웃 확장 방식은 불필요한 서브그래프를 많이 불러오지만, AutoPrunedRetriever는 엔티티‑관계 시퀀스를 “경로” 단위로 간주하고, 코사인 유사도 기반의 두 단계(코스·파인) 검색을 수행한다. 코스 단계에서는 엔티티·관계 임베딩만으로 고리콜을 확보하고, 파인 단계에서는 실제 삼중항을 정밀 매칭해 최종 순위를 산정한다. 이 과정은 O(k) 복잡도로 전체 그래프를 탐색하는 비용을 크게 절감한다.

3. 정확한 기호 재사용(P3) – 동일한 사실이 여러 질의에 중복 등장할 때, 텍스트를 그대로 재전송하면 토큰이 중복된다. 저자들은 코드북에 저장된 ID 기반의 기호 시퀀스를 그대로 프롬프트에 삽입함으로써, “새로운 증거”만을 전달한다. 선택적 채널(답변, 사실, 이전 질문)별로 “전체 포함”, “유니크 대표”, “제외” 중 하나를 선택하도록 DPO(Direct Preference Optimization) 기반 정책을 학습시켜, 정확도·토큰·지연 사이의 트레이드오프를 자동 조절한다.

통합·가지치기 메커니즘은 두 단계로 구성된다. 첫 번째는 ANN‑KNN 기반의 연속 별칭 탐지로, 임베딩 거리 기준으로 잠재적 별칭을 실시간 그룹화한다. 메모리 한계에 도달하면 두 번째 단계인 k‑means 클러스터링을 수행해 별칭 그룹을 재정렬하고, 각 그룹의 메디oid를 새로운 엔티티 ID로 지정한다. 이후 모든 삼중항은 새로운 ID로 재매핑되며, 중복 삼중항은 자동 제거된다. 이 과정은 논문에서 제시된 Lemma 9‑11에 의해 그래프 크기가 비감소함을 보장한다.

프롬프트 압축은 두 가지 인코딩 방식을 제공한다. (1) “워드 트리플” 방식은 실제 텍스트 삼중항을 그대로 삽입해 가독성을 높이고, (2) “컴팩트 인덱스” 방식은 엔티티·관계 ID만을 나열해 토큰 수를 최소화한다. 선택은 실행 시점에 토큰 예산과 모델 특성에 따라 자동 결정된다.

실험에서는 GraphRAG‑Benchmark(의료·소설), 자체 구축한 STEM·TV 복합 추론 데이터셋을 사용했다. AutoPrunedRetriever‑REBEL(고정 파서)과 AutoPrunedRetriever‑LLM(LLM 기반 파서) 두 변형 모두 기존 최첨단 GraphRAG 모델 대비 9~11% 높은 정확도를 보였으며, 특히 토큰 사용량은 최대 100배 감소했다. 지연 시간도 평균 30% 이상 단축되었으며, 메모리 사용량은 2‑3배 수준으로 유지되었다.

의의는 크게 세 가지다. 첫째, 질문 간 중복 추론을 그래프 수준에서 정확히 재사용함으로써 비용 효율성을 극대화한다. 둘째, 경로 중심 검색과 두 단계 통합 정책은 대규모 코퍼스에서도 실시간 응답이 가능하도록 만든다. 셋째, 코드북 기반 기호 표현은 향후 멀티‑에이전트 파이프라인이나 지속적인 코퍼스 업데이트 환경에서 확장성을 제공한다. 전체적으로 이 논문은 “그래프‑우선 RAG” 패러다임을 제시하며, 토큰 비용이 급증하는 현재 LLM 활용 상황에서 실용적인 해결책을 제공한다.