LLM 기반 사실 확인 기사 자동 작성 QRAFT 프레임워크

초록

본 논문은 기존 자동 사실 확인 파이프라인에 기사 작성 단계를 추가하고, 전문가 인터뷰를 통해 도출한 요구사항을 반영한 다중 에이전트 시스템 QRAFT를 제안한다. QRAFT는 증거 추출·아웃라인 설계·초안 작성·편집 피드백의 네 단계로 구성되며, LLM을 활용해 인간 사실 확인자의 워크플로를 모방한다. 자동 평가와 전문가 평가 결과, QRAFT가 기존 텍스트 생성 모델보다 우수하지만 인간 전문가 수준에는 아직 미치지 못함을 확인한다.

상세 분석

이 연구는 자동 사실 확인 분야에서 가장 큰 공백으로 지적된 “사실 확인 기사 작성” 작업을 정형화하고, 이를 실현하기 위한 시스템 설계와 평가를 종합적으로 수행한다. 먼저 저자들은 전 세계 주요 사실 확인 기관의 실무자를 대상으로 인터뷰를 진행해, 기사에 반드시 포함되어야 할 ‘주장 명확화’, ‘출처 투명성’, ‘배경·맥락 제공’, ‘구조적 흐름’ 등 6가지 핵심 특성을 도출한다. 이러한 특성은 기존의 짧은 설명(brief explanation)과는 차원이 다른, 독자에게 완전한 이해를 제공하는 장문의 서술을 요구한다는 점에서 기존 연구와 차별된다.

QRAFT는 이러한 요구를 충족시키기 위해 “Planner‑Writer‑Editor”라는 3개의 LLM 에이전트를 순차·반복적으로 연결한다. Planner는 입력된 증거 문서 집합(E)에서 핵심 증거 조각을 추출해 ‘증거 nugget’ 리스트를 만든 뒤, 사전 정의된 선호(preference) 지침을 바탕으로 아웃라인을 생성한다. Writer는 이 아웃라인과 증거 nugget를 활용해 초안을 작성하고, Editor는 Writer와 대화형 QA를 주고받으며 구체적인 편집 지시(예: 출처 명시, 논리적 연결 강화)를 제공한다. 이 과정은 최대 N번 반복되며, 각 반복마다 품질 점수(예: ROUGE, BLEU, 사실성 점수)를 자동으로 측정해 수렴 여부를 판단한다.

기술적 관점에서 눈에 띄는 점은 (1) 증거 nugget 추출을 위해 LLM에 “요약 + 핵심 문장 강조” 프롬프트를 사용해 문서마다 3~5개의 핵심 포인트를 얻는 방식, (2) 선호 지침을 자연어로 기술한 ‘시스템 프롬프트’를 Planner에 삽입해 구조적 일관성을 확보한 점, (3) Editor와 Writer 사이의 대화형 피드백 루프를 구현함으로써 인간 편집자의 역할을 부분적으로 자동화한 점이다. 또한, QRAFT는 기존의 단일 LLM 기반 생성 모델이 겪는 ‘환각(hallucination)’ 문제를 완화하기 위해, Editor가 제시한 수정 사항을 검증 단계에서 다시 Planner에게 전달해 증거와의 정합성을 재검토하도록 설계했다.

평가에서는 자동 메트릭(ROUGE‑L, BERTScore, FactCC)과 실제 사실 확인 전문가 4명의 주관적 평가를 병행했다. 자동 메트릭에서는 QRAFT가 GPT‑3.5‑Turbo 기반 베이스라인보다 평균 12% 이상 높은 점수를 기록했지만, 인간 평가에서는 ‘전문가 수준’(5점 만점)에서 3.2점에 머물렀다. 특히 “출처 검증 가능성”과 “맥락 전달 정확도” 항목에서 전문가들이 여전히 인간이 작성한 기사에 비해 부족함을 지적했다. 이는 LLM이 아직 복잡한 논리 전개와 다중 출처 교차 검증을 완전하게 수행하기 어렵다는 한계를 재확인한다.

결론적으로, QRAFT는 사실 확인 기사 자동 작성이라는 새로운 과제에 대한 최초의 실용적 시도이며, 다중 에이전트 협업 구조가 단일 모델보다 품질을 향상시킬 수 있음을 입증한다. 다만, 환각 방지, 세계 지식 보강, 그리고 인간 편집자의 최종 검증 단계가 여전히 필수적이라는 점을 강조한다. 향후 연구는 증거 기반 추론 강화, 외부 데이터베이스와의 실시간 연동, 그리고 사용자 맞춤형 기사 스타일링 등을 통해 인간 전문가와의 협업 효율을 더욱 높이는 방향으로 진행될 필요가 있다.