LLM 기반 지식 그래프 검증 벤치마크 FactCheck

초록

FactCheck는 대형 언어 모델(LLM)의 내부 지식, 검색‑증강 생성(RAG) 및 다모델 합의를 활용한 지식 그래프(KG) 사실 검증 성능을 체계적으로 평가하기 위해 설계된 벤치마크이다. 세 개의 실제 KG(FactBench, YAGO, DBpedia)와 2백만 개 이상의 검색 문서를 제공하며, 실험 결과 LLM만으로는 아직 안정적이지 않고, RAG와 합성 전략도 일관된 개선을 보이지 않는다.

상세 분석

본 논문은 KG 사실 검증이라는 특수한 도메인에 LLM을 적용하기 위한 첫 번째 포괄적 벤치마크인 FactCheck를 제안한다. 세 가지 평가 차원—(1) 모델 자체 내재 지식, (2) 외부 증거를 활용한 Retrieval‑Augmented Generation(RAG), (3) 다중 모델 합의(majority voting)—을 통해 LLM의 전반적인 검증 능력을 다각도로 측정한다. 데이터셋은 FactBench, YAGO, DBpedia라는 서로 다른 도메인·스케일을 갖는 KG에서 추출한 13,530개의 삼중항(<S,P,O>)을 자연어 문장으로 변환한 뒤, 인간 전문가가 라벨링한 정답과 비교한다. RAG용 문서는 구글 SERP를 모방한 2백만 개 이상의 문서 컬렉션을 구축하고, Mock API를 제공해 재현성을 확보한다. 실험에 사용된 모델은 79B 파라미터 규모의 오픈소스 LLM과 GPT‑4, Claude 등 상용 모델을 포함한다. 결과는 크게 세 가지 인사이트를 제공한다. 첫째, 내부 지식만으로는 특히 최신·희귀 사실에 대해 낮은 정확도를 보이며, “knowledge cutoff” 문제와 hallucination이 여전히 심각하다. 둘째, RAG를 적용하면 일부 도메인에서 정확도가 510% 상승하지만, 검색 질의 생성, 문서 선택, 컨텍스트 윈도우 제한 등 여러 단계에서 오류가 누적돼 성능 변동성이 크다. 특히, 검색 결과가 부정확하거나 과도하게 신뢰될 경우 모델이 잘못된 증거에 의해 오도되는 현상이 관찰된다. 셋째, 다모델 합의는 개별 모델의 약점을 보완할 가능성을 제시했지만, 실제 실험에서는 평균 정확도 향상이 미미했고, 동일 데이터에 대해 동일한 오류 패턴을 공유하는 모델들 사이에서는 오히려 오류가 증폭되는 경우도 있었다. 비용 측면에서도 RAG와 다모델 전략은 추론 시간·토큰 사용량이 크게 증가해 실용적 적용에 제약이 있다. 논문은 이러한 한계를 정량·정성 분석을 통해 상세히 제시하고, 향후 연구 방향으로 (i) 보다 정교한 증거 선택 및 신뢰도 추정, (ii) 동적 프롬프트 엔지니어링, (iii) 비용‑효율적인 앙상블 설계 등을 제안한다. 전체적으로 FactCheck는 LLM 기반 KG 검증 연구에 필요한 평가 인프라와 기준을 제공함으로써, 현재 기술 수준을 명확히 진단하고 향후 발전 로드맵을 제시한다.