다국어 팩트체크를 위한 CLEF 2026 CheckThat 랩 개요

초록

CLEF 2026 CheckThat! 랩은 세 가지 핵심 과제를 통해 다국어 팩트체크 파이프라인을 확장한다. 첫 번째는 영어·독일어·프랑스어 소셜 미디어 게시물에서 암시된 과학 논문을 찾아내는 소스 검색 과제이며, 두 번째는 영어·스페인어·아랍어의 수치·시간 주장에 대해 증거와 추론 과정을 활용해 정확한 판정을 내리는 검증 과제이다. 마지막으로 영어 전용으로, 주장·진위·증거를 바탕으로 인라인 인용이 포함된 완전한 팩트체크 기사 생성을 목표로 한다. 각 과제는 실제 저널리즘 워크플로를 반영한 평가 지표와 대규모 다언어 데이터셋을 제공한다.

상세 분석

이 논문은 CLEF 2026 CheckThat! 랩의 설계와 목표를 상세히 제시한다. 첫 번째 과제인 과학 웹 주장 소스 검색은 소셜 미디어에서 암시된 학술 논문을 정확히 식별하는 문제로, 기존에 URL이 제공되지 않는 경우가 많아 자연어 이해와 문헌 매칭 기술이 요구된다. 영어 15,699쌍의 기존 데이터와 독일어·프랑스어 각각 1,500쌍의 신규 라벨링을 통해 다언어 학습을 가능하게 하며, MRR@5를 주요 평가 지표로 채택해 실사용자 관점의 검색 효율성을 강조한다.

두 번째 과제는 수치·시간 주장에 대한 자동 검증이다. 여기서는 LLM을 활용한 다중 온도 설정으로 다양한 추론 트레이스를 생성하고, 중복 제거 후 추론 트레이스 순위를 매기는 ‘테스트‑타임 스케일링’ 프레임워크를 도입한다. 이는 단순 정확도 평가를 넘어 추론 과정의 품질을 평가하도록 설계되었으며, Recall@5·MRR@5와 매크로 F1을 복합 점수로 사용한다. 데이터는 영어 8,000건, 스페인어 2,808건, 아랍어 3,260건으로 구성되고, 각 주장마다 20개의 GPT‑4o‑mini 추론 트레이스가 제공된다.

세 번째 과제는 완전한 팩트체크 기사 생성이다. 주장, 진위, 증거 문서를 입력으로 받아 인라인 인용이 포함된 장문 텍스트를 생성하도록 요구한다. 평가에는 엔텔먼트 스코어, 인용 정확도·완전도 등 참조 기반·비기반 지표를 평균해 최종 점수를 산출한다. 또한 LLM‑as‑judge를 활용한 Elo 레이팅을 부가적으로 제공해 인간 저널리스트 수준의 품질을 측정한다.

전체적으로 이 랩은 팩트체크 파이프라인의 핵심 단계—소스 탐색, 주장 검증, 기사 작성—를 다언어·다모달 환경에서 실험하도록 설계되었으며, 기존 공유 과제와 차별화되는 점은 (1) 실제 저널리즘 워크플로를 반영한 복합 평가, (2) 테스트‑타임 스케일링을 통한 LLM 추론 강화, (3) 인용 관리가 포함된 장문 생성에 초점을 맞춘다. 향후 저자들은 저자원 언어 확대와 교차 문서·수치 추론 강화, 실무와의 정합성 제고를 목표로 한다.