언어모델 환각을 차단하는 정확한 학술 인용 AI 시스템

초록

기존 AI 언어모델은 학술 인용 시 허위 정보를 생성하는 ‘환각’ 문제가 있습니다. 본 연구는 언어모델의 자연어 인터페이스와 데이터베이스의 정확한 접근을 결합한 새로운 아키텍처를 제안합니다. Model Context Protocol(MCP)을 기반으로 한 ‘MCP-DBLP’ 시스템은 사용자의 비공식적 인용 문구를 이해해 데이터베이스를 검색하고, 최종 인용 데이터는 AI를 거치지 않고 직접 가져와 정확성을 보장합니다. 실험 결과, 이 방식을 사용하면 완벽한 인용 정확도가 82.7%로 기존 웹 검색 방식(28.2%)보다 월등히 높아지며, 메타데이터 오류는 전혀 발생하지 않았습니다.

상세 분석

본 논문이 제안하는 핵심 기술적 통찰은 ‘언어 모델의 자연어 이해 능력’과 ‘신뢰할 수 있는 데이터베이스의 정확한 정보 검색’을 아키텍처 수준에서 분리한 것에 있습니다. 기존 접근법은 언어모델이 검색부터 결과 출력까지 전 과정을 처리하며, 이 과정에서 검색 결과를 해석하거나 요약하면서 본의 아니게 저자명, 발행처, DOI 등을 변조하는 ‘환각’이 발생했습니다. 저자들은 이를 해결하기 위해 Model Context Protocol(MCP)이라는 표준화된 인터페이스를 채택했습니다. MCP는 언어모델이 외부 도구를 구조화된 요청으로 호출할 수 있게 하는 프로토콜로, 여기서 언어모델의 역할은 사용자의 비공식적 질의(예: “Devlin paper from 2018”)를 이해하고, 적절한 검색 파라미터를 추출하여 MCP 도구를 호출하는 것까지로 제한됩니다.

가장 혁신적인 설계 원칙은 ‘비중개화된 데이터베이스 내보내기(Unmediated Database Export)‘입니다. 시스템은 ‘장바구니’ 패턴을 사용합니다. 언어모델이 add_bibtex_entry 도구를 호출하면, 서버는 사용자가 선택한 논문의 DBLP 키를 사용해 즉시 DBLP 공식 URL(https://dblp.org/rec/{dblp_key}.bib)에서 BibTeX 항목을 직접 가져옵니다. 이 데이터는 언어모델의 컨텍스트를 전혀 거치지 않고 세션별 컬렉션에 추가됩니다. 최종 export_bibtex 호출 시 이 컬렉션 전체가 직접 디스크의 .bib 파일로 기록됩니다. 언어모델이 관여하는 부분은 사용자가 지정한 인용 키(citation key)를 DBLP에서 가져온 원본 항목의 기본 키와 치환하는 정규식 패턴 매칭 뿐입니다. 이로 인해 저자, 제목, 발행처, DOI 등 모든 메타데이터는 권위 있는 소스(DBLP)에서 직접 오므로 변조 가능성이 완전히 제거됩니다.

평가 방법론도 주목할 만합니다. 104개의 난독화된 인용문을 사용한 실험에서 ‘MCP-U(비중개화된 내보내기)’ 방식은 ‘완전 일치(Perfect Match)’ 비율을 82.7%로 기록했으며, ‘메타데이터 변조(Corrupted Metadata)‘는 0%였습니다. 이는 동일한 작업을 웹 검색만으로 수행했을 때의 각각 28.2%, 6.7%와 대비되는 압도적인 결과입니다. 특히 ‘MCP-M(언어모델이 메타데이터를 수동 구성)’ 방식에서는 ‘불완전 메타데이터(Incomplete Metadata)’ 오류가 36.5%나 발생한 반면, ‘MCP-U’에서는 0%였습니다. 이는 언어모델이 데이터를 ‘전달’하는 것이 아니라 ‘생성’하려 할 때 필연적으로 발생하는 정보 누락 문제를, 아키텍처적 선택으로 근본적으로 해결했음을 보여줍니다. 이 접근법은 DBLP에 국한되지 않고 PubMed, arXiv, Semantic Scholar 등 다른 학술 데이터베이스에도 적용 가능한 일반적인 아키텍처 패러다임을 제시합니다.