와일드그래프벤치 실제 소스 코퍼스를 이용한 GraphRAG 벤치마크

초록

WildGraphBench는 위키피디아의 인용 페이지를 활용해 장문·다양한 형식의 외부 문서를 실제 환경처럼 구성하고, 단일 사실, 다중 사실, 섹션 요약 3가지 난이도의 1,100여 질문을 제공한다. 실험 결과 GraphRAG는 중간 규모 증거 집합을 활용한 다중 사실 추론에 강점을 보이지만, 광범위한 요약 과제에서는 세부 정보 손실과 과도한 고수준 요약으로 성능이 떨어진다.

상세 분석

본 논문은 Graph‑based Retrieval‑Augmented Generation(GraphRAG)의 실사용 환경을 평가하기 위한 새로운 벤치마크인 WildGraphBench를 제안한다. 기존 GraphRAG 벤치마크는 짧고 정제된 패시지를 사용해 실제 웹에서 마주치는 장문·노이즈가 많은 문서들을 충분히 반영하지 못한다는 한계를 지적한다. 이를 해결하기 위해 저자들은 위키피디아의 구조적 특성을 활용한다. 위키피디아 본문은 간결한 요약 형태이며, 각 문장은 인용(reference)으로 뒷받침된다. 인용된 외부 페이지는 뉴스 기사, 학술 PDF, 정부 보고서 등 형식이 다양하고 길이가 길어 ‘와일드’한 코퍼스를 형성한다. 논문은 12개의 상위 주제(예: 역사, 과학, 사회 등)에서 인용 수가 많은 위키피디아 문서를 샘플링하고, 해당 문서의 모든 인용 URL을 수집·크롤링한다. 크롤링 과정에서 원본 페이지가 사라진 경우 아카이브를 이용해 데이터 손실을 최소화하고, 원문 그대로 보관해 실제 노이즈 환경을 그대로 재현한다.

다음으로, 인용 마크가 포함된 문장을 LLM이 정제하여 ‘사실 진술(statement)’ 형태로 변환하고, 해당 진술과 연결된 인용 URL을 메타데이터로 저장한다. 이렇게 구축된 위키피디아 골드 코퍼스는 leaf 섹션 단위로 트리플(진술, URL 집합, 인용 수) 형태로 정리된다. 인용 수가 1인 경우는 단일 사실 질문(single‑fact)으로, 인용 수가 2 이상인 경우는 다중 사실 질문(multi‑fact)으로 전환한다. 다중 사실 질문은 최소 두 개 이상의 인용이 공동으로 필요하도록 LLM이 검증한다. 섹션 수준 요약 질문은 leaf 섹션에 포함된 모든 진술을 집합 S* 로 정의하고, 해당 섹션을 설명하는 자연어 질문을 생성한다. 전체 질문 수는 1,197개이며, 단일 사실 667개, 다중 사실 191개, 요약 339개로 구성된다.

평가 메트릭은 질문 유형별로 다르게 설계된다. 단일·다중 사실 질문은 LLM 판정자를 이용해 시스템 답변이 골드 진술과 의미적으로 동등한지 0/1 점수를 매겨 정확도를 산출한다. 요약 질문은 시스템이 생성한 텍스트에서 진술 추출기를 통해 예측 진술 집합 ˆS 를 만든 뒤, 골드 집합 S* 와 매칭함수 Match(s, ˆs) 로 정밀도·재현율·F1을 계산한다. 이 방식은 문장 수준의 패러프레이징을 허용하면서도 사실 커버리지와 허위 생성(halucination)을 동시에 측정한다.

실험에서는 대표적인 평면 RAG(NaiveRAG, BM25)와 최신 GraphRAG 파이프라인(Fast‑GraphRAG, Microsoft GraphRAG 로컬/글로벌) 5가지를 평가한다. 문서 전처리는 1,200 토큰 청크(오버랩 100 토큰)로 나누고, 질의당 상위 5개(단일·다중) 혹은 10개(요약) 문서를 검색한다. 그래프 구축 및 답변 생성에는 gpt‑4o‑mini, 평가 판정에는 gpt‑5‑mini를 사용한다. 결과는 다중 사실 질문에서 GraphRAG가 평면 RAG 대비 12~15% 높은 정확도를 보이며, 증거가 여러 문서에 분산된 경우 그래프 기반 증거 확장이 효과적임을 입증한다. 반면 요약 질문에서는 GraphRAG가 고수준 요약에 치우쳐 세부 진술을 누락하거나 과도하게 일반화해 정밀도가 낮아진다. 이는 현재 그래프 집계 전략이 ‘핵심 문장’ 중심으로 가중치를 부여하고, 세밀한 사실을 충분히 보존하지 못한다는 설계상의 한계를 시사한다.

이 논문은 다음과 같은 기여를 명확히 한다. 첫째, 실제 웹 환경을 모사한 장문·다양한 형식의 코퍼스를 제공함으로써 GraphRAG 연구의 평가 기준을 한 단계 끌어올렸다. 둘째, 질문 설계와 진술‑기반 평가 방식을 통해 ‘사실 정확성’과 ‘정보 포괄성’을 동시에 측정할 수 있는 체계를 구축했다. 셋째, 실험을 통해 현재 GraphRAG 파이프라인이 다중 증거 집계에는 강점이 있지만, 광범위한 요약·요약형 질의에서는 세부 정보 손실이 발생한다는 중요한 인사이트를 제공한다. 향후 연구는 그래프 집계 단계에서 세부 사실을 보존하는 가중치 조정, 노이즈 문서 필터링, 그리고 요약 전용 그래프 구조 설계 등을 통해 이 한계를 극복할 필요가 있다.