AI 생성 리뷰 탐지: 동료 평가의 새로운 위협과 대응 방안

초록

본 논문은 AI가 작성한 피어 리뷰를 인간 리뷰와 구분하기 위한 대규모 데이터셋을 구축하고, 18가지 기존 탐지 모델과 논문 내용 기반의 새로운 탐지 기법인 Anchor를 평가한다. 실험 결과 대부분의 기존 모델은 낮은 거짓 양성률을 유지하면서 AI 리뷰를 정확히 식별하지 못함을 보이며, Anchor는 원고와 리뷰 간 의미적 유사성을 활용해 현존 모델들을 능가한다. 또한 LLM이 인간 리뷰를 부분적으로 편집했을 때 탐지 민감도가 어떻게 변하는지도 분석한다.

상세 분석

이 연구는 현재 학계에서 급증하고 있는 LLM 기반 피어 리뷰의 윤리적·실무적 위험을 정량화하고, 이를 탐지하기 위한 실용적인 도구를 제공한다는 점에서 의의가 크다. 먼저 8년간 ICLR·NeurIPS 회의에서 수집한 인간 리뷰와 동일 논문에 대해 5가지 최신 LLM(GPT‑4o, Claude Sonnet 3.5, Gemini 1.5 pro, Qwen 2.5 72B, Llama 3.1 70B)으로 생성한 AI 리뷰를 매칭시켜 총 788,984개의 쌍을 만든다. 데이터는 인간·AI 리뷰 비율을 1:1로 맞추고, 연도·학회·LLM 별로 균형을 유지해 편향을 최소화했다.

다음으로 18개의 공개 AI 텍스트 탐지 알고리즘(통계 기반, 로그우도, 엔트로피, DetectGPT 등)을 동일한 평가 프로토콜에 적용했다. 각 모델은 별도의 calibration set(75,824개)에서 최적 임계값을 찾은 뒤, test set(287,052개)에서 FPR ≤ 1%를 만족하도록 조정되었다. 결과는 대부분의 모델이 F1 점수 0.55 이하에 머물며, 특히 최신 LLM이 생성한 텍스트는 기존 탐지기들이 거의 구분하지 못함을 보여준다. 이는 현재 탐지 기술이 모델 규모·프롬프트 다양성에 취약함을 의미한다.

핵심 기여는 ‘Anchor’라는 컨텍스트 인식 탐지 방법이다. Anchor는 리뷰와 해당 원고 사이의 의미적 유사성을 임베딩 공간에서 측정하고, 인간 리뷰와 AI 리뷰 간의 거리 분포를 학습한다. 구체적으로, 원고와 리뷰를 각각 Sentence‑Transformer로 인코딩한 뒤, 코사인 유사도 기반의 스코어를 계산하고, 이를 베이지안 임계값으로 변환한다. 이 방식은 동일 논문에 대한 인간·AI 리뷰가 내용적 일관성에서 차이를 보인다는 가정에 기반한다. 실험 결과 Anchor는 GPT‑4o와 Claude Sonnet 3.5 리뷰에 대해 F1 = 0.82, AUC = 0.94를 기록하며, 기존 18개 모델을 모두 앞선다.

또한 LLM이 인간 리뷰를 부분적으로 편집한 경우(예: 30%, 50% 텍스트 교체) 탐지 성능이 급격히 저하되는 현상을 관찰했다. 이는 현재 탐지기가 ‘전면 AI 생성’ 텍스트에 최적화돼 있으며, 인간·AI 혼합 텍스트에 대한 민감도가 낮다는 점을 시사한다.

전반적으로 이 논문은 (1) 피어 리뷰 분야에 특화된 대규모 벤치마크를 제공하고, (2) 기존 탐지 모델의 한계를 실증적으로 드러내며, (3) 원고‑리뷰 연계 정보를 활용한 새로운 탐지 프레임워크를 제시함으로써 향후 연구 및 실무 적용에 중요한 토대를 마련한다는 점에서 높은 학술적·실용적 가치를 가진다.