BibAgent 과학 논문 인용 오류 추적 프레임워크

초록

BibAgent은 접근 가능한 논문과 유료 논문을 각각 다른 전략으로 검증하는 에이전트 기반 시스템이다. 전체 텍스트 검색, 논리적 추론, 그리고 증거 위원회 메커니즘을 결합해 5가지 인용 오류 유형을 자동으로 식별하고, 오류 코드와 근거를 투명하게 제공한다. 6,350개의 다학문 벤치마크(MisciteBench)에서 기존 LLM 기반 방법보다 높은 정확도와 해석성을 보인다.

상세 분석

본 논문은 인용 오류(miscitation)를 ‘증거 검색·추론·증거 집계’의 삼위일체 문제로 정의하고, 두 가지 접근성 시나리오(전체 텍스트 접근 가능 vs. 유료 장벽)에서 각각 최적화된 검증 파이프라인을 설계했다. 먼저 DPCM(Document Parser & Citation Mapper) 모듈은 LaTeX, PDF, HTML 등 다양한 포맷을 통일된 마크다운 구조로 변환하고, 문장 수준 인용 그래프를 구축한다. 이를 통해 인용 문맥과 참고문헌을 정확히 매핑한다. 다음 단계인 CSA C(Cited Source Accessibility Classifier)는 DOI 메타데이터와 오픈 액세스 여부를 판단해 ACSV(Accessible Citation Verification)와 ICSV(Inaccessible Citation Verification)로 라우팅한다. ACSV에서는 고성능 Bi‑/Cross‑Encoder와 NLI 기반 논리 필터를 이용해 상위 k개의 문단을 추출하고, 대형 언어 모델(Gemini‑2.5‑Pro 등)로 ‘지원’·‘반박’·‘불확실’을 판별한다. 반면 ICSV에서는 원문을 직접 읽을 수 없으므로, 해당 논문을 인용한 후속 논문들의 인용 문맥을 수집해 증거 위원회(Evidence Committee)를 구성한다. 각 후속 인용은 ‘지원’·‘반박’·‘중립’ 투표를 제공하고, 분야별 신뢰도 가중치를 적용해 합의 점수(V_final)를 계산한다. 최종적으로 시스템은 5가지 오류 카테고리(AT, CV, CM, SE, EC) 중 하나를 선택하고, 오류 코드와 함께 근거 문장·증거 스팬·신뢰도(0‑1)를 출력한다. 논문은 또한 ‘Dependency Precedence Rule’을 도입해 오류 라벨링 순서를 인간 검증 흐름과 일치시켜 라벨 일관성을 확보한다. 실험에서는 전 분야 254개 JCR 카테고리를 포괄하는 MisciteBench(6,350 사례)에서 기존 LLM 기반 전체 텍스트 검증 모델보다 평균 12%p 높은 정확도와 0.15 향상된 ECE(calibrated confidence)를 기록했다. 특히 유료 논문에 대한 ICSV 경로는 ‘증거 위원회’ 메커니즘 덕분에 78% 이상의 정확도를 유지했으며, 오류 유형별 해석 가능성도 크게 향상되었다. 전체적으로 BibAgent은 확장성, 투명성, 그리고 접근성 제약을 동시에 만족시키는 최초의 종합 인용 오류 검증 프레임워크라 평가할 수 있다.