엘리트 피어리뷰를 속인 복합 허위인용 현상

초록

본 연구는 2025년 NeurIPS에 채택된 53편 논문에서 발견된 100개의 AI 생성 허위인용을 분석한다. 저자는 인용 오류를 다섯 가지 실패 모드(전면 조작, 부분 속성 손상, 식별자 탈취, 의미적 허위, 자리표시자 허위)로 분류하고, 모든 사례가 복합적인 실패 모드를 동시에 보임을 밝혀냈다. 자동 인용 검증 도구의 도입 필요성을 주장한다.

상세 분석

이 논문은 대형 언어 모델(LLM)이 학술 원고 작성 과정에 침투하면서 발생하는 인용 허위현상의 구조적 특성을 체계적으로 파악한다. 먼저 데이터 수집 단계에서 GPTZero의 자동 Hallucination Check 도구를 활용해 NeurIPS 2025 수락 논문 4,841편(전체 5,290편 중 91.6%)을 스크리닝하고, 인간 검증을 통해 100개의 확실한 허위인용을 추출하였다. 이때 논문의 피어리뷰 과정은 평균 3~5명의 전문가가 참여했음에도 불구하고 전혀 탐지되지 않았다는 점이 연구의 출발점이다.

저자는 허위인용을 ‘실패 모드’라는 개념으로 재구성한다. 전면 조작(Total Fabrication, TF)은 저자, 제목, 학술지, DOI 등 모든 메타데이터가 완전히 허구인 경우이며, 전체 표본의 66%를 차지한다. 부분 속성 손상(Partial Attribute Corruption, PAC)은 실제 존재하는 저자명이나 학술지를 차용하면서도 연도·제목·볼륨 등을 변조하는 형태로, 27%를 차지한다. 식별자 탈취(Identifier Hijacking, IH)는 실제 DOI나 arXiv ID를 사용하지만 메타데이터가 일치하지 않아 검증 시 ‘실제 논문이 존재한다’는 착각을 유발한다. 의미적 허위(Semantic Hallucination, SH)는 분야에 적합한 용어와 구조를 갖춘 가짜 제목을 생성하는 경우이며, 자리표시자 허위(Placeholder Hallucination, PH)는 “Firstname Lastname” 혹은 “arXiv:XXXX.XXXX”와 같이 미완성 템플릿을 그대로 남긴다.

특히 주목할 점은 모든 허위인용이 하나 이상의 보조 실패 모드를 동시에 내포하고 있다는 ‘복합 실패 모드’ 현상이다. 보조 모드 중 의미적 허위가 63%, 식별자 탈취가 29%로 가장 빈번했으며, 이는 전면 조작과 결합돼 검증자의 직관적 판단을 무력화한다. 예를 들어, 완전 허구의 저자와 제목을 제시하면서 실제 DOI를 삽입하면 리뷰어는 링크를 클릭해 실제 논문을 확인하고, 메타데이터 불일치를 놓치게 된다. 이러한 다중 전략은 인용 검증에 사용되는 ‘표면적 일치’와 ‘링크 존재 여부’라는 두 가지 휴리스틱을 동시에 회피한다.

통계적으로는 오염된 논문의 92%가 12개의 허위인용만을 포함해 경미한 AI 사용을, 나머지 8%는 413개의 허위인용을 포함해 AI 의존도가 높음을 보여준다. 이는 LLM 사용 정도에 따라 허위인용 발생 빈도가 비선형적으로 증가한다는 가설을 뒷받침한다. 또한 저자는 ‘오염 상속(Contamination Inheritance)’이라는 부수적 현상을 발견했는데, 이는 학습 데이터 자체에 이미 존재하던 잘못된 인용이 모델에 의해 재생산되는 경우이다. 이는 순수한 ‘환각’이 아니라 데이터 오염의 연쇄 효과임을 시사한다.

결론적으로, 현재의 피어리뷰 시스템은 인용 메타데이터의 사실 확인 절차가 부재하거나 자동화되지 않아 LLM이 만든 복합 허위인용을 탐지하지 못한다. 저자는 제출 단계에서 자동화된 DOI/URL 검증, 교차 데이터베이스 매칭, 그리고 의심 인용에 대한 인간 검토를 의무화하는 정책을 제안한다. 이러한 조치는 학술 커뮤니티가 AI 기반 저작 도구를 안전하게 활용하고, 인용 그래프의 신뢰성을 유지하는 데 필수적이다.