지식 그래프 기반 대조 추론으로 LLM을 강화한 자동 사실 검증

초록

KG-CRAFT는 주장과 연관 보고서에서 추출한 엔터티와 관계를 활용해 지식 그래프를 구축하고, 그래프 구조에 기반한 대조 질문을 생성한다. 생성된 질문에 대해 LLM이 답변을 도출하고, 이를 요약해 최종 검증 입력으로 사용함으로써 기존 방법보다 높은 정확도를 달성한다.

상세 분석

KG-CRAFT는 자동 사실 검증 파이프라인에 세 가지 핵심 모듈을 도입한다. 첫 번째는 주장과 연관 보고서에서 엔터티와 관계를 추출해 지식 그래프(KG)를 구성하는 단계이다. 여기서는 LLM을 few‑shot 프롬프트로 활용해 엔터티 식별, 클래스 라벨링, 관계 추출을 순차적으로 수행하고, 결과를 삼중항(헤드, 관계, 테일) 형태의 트리플 집합 T에 정리한다. 두 번째 단계는 KG 기반 대조 추론이다. 주장 트리플 T_claim을 기준으로 동일 클래스의 대체 엔터티 집합(H_contr, T_contr)을 만든 뒤, “왜 원본 엔터티가 아니라 대체 엔터티인가?” 형태의 대조 질문을 자동 생성한다. 질문 수가 과다해질 경우, 질문 임베딩 간 코사인 유사도를 활용한 Maximal Marginal Relevance(MMR) 기법으로 다양성과 관련성을 동시에 최적화해 상위 K개의 질문만 선택한다. 세 번째 단계는 선택된 질문에 대해 LLM이 보고서 내용을 근거로 답변을 생성하고, 질문‑답변 쌍을 하나의 요약문으로 압축한다. 이 요약문은 최종 검증 프롬프트에 삽입되어 LLM이 “진실”, “거짓”, “반반” 등 라벨을 예측하도록 한다. 실험에서는 정치·사회 분야의 LIAR‑RAW와 RAWFC 두 데이터셋을 사용했으며, KG‑CRAFT가 기존 LLM 기반 검증 모델 대비 정확도·F1 점수에서 모두 2~4%p 상승하는 SOTA를 기록했다. Ablation 연구에서는 KG 구축 없이 순수 텍스트 기반 대조 질문, MMR 없이 무작위 질문 선택, 요약 단계 생략 등 각각을 제거했을 때 성능이 현저히 떨어지는 것을 확인했다. 이는 구조화된 KG와 대조 질문이 LLM의 추론을 효과적으로 가이드한다는 증거다. 또한 오류 분석에서는 KG‑CRAFT가 엔터티 동음이의어나 관계 누락으로 인한 오답을 최소화했지만, 복합적인 다중 트리플이 얽힌 경우 질문 생성이 과도하게 단순화되는 한계가 드러났다. 전반적으로 KG‑CRAFT는 지식 그래프와 대조 추론을 결합해 LLM의 사실 검증 능력을 체계적으로 강화하는 설계로, 향후 도메인‑특화 KG와 더 정교한 질문 생성 전략을 결합하면 더욱 높은 신뢰성을 기대할 수 있다.