LLM을 활용한 논문 리뷰 보조: GPT‑4의 가능성과 한계

초록

본 연구는 GPT‑4가 과학 논문 리뷰 과정에서 수행할 수 있는 구체적 작업을 탐색한다. 오류 탐지, 체크리스트 검증, 논문 우수도 판단 세 가지 과업에 대해 실험을 진행했으며, 오류 탐지와 체크리스트 검증에서는 높은 정확도를 보였지만, 논문 우수도 판단에서는 기대 이하의 성능을 나타냈다. 결과는 LLM이 특정 리뷰 보조 작업에 유용하지만, 전체 평가에는 아직 한계가 있음을 시사한다.

상세 분석

본 논문은 “ReviewerGPT?”라는 탐색적 연구를 통해 대형 언어 모델(LLM), 특히 GPT‑4가 학술 논문·제안서 리뷰에 어떻게 활용될 수 있는지를 체계적으로 검증한다. 먼저 파일럿 스터디에서 GPT‑4가 Bard, Vicuna, Koala, Alpaca, LLaMa, Dolly, OpenAssistant, StableLM 등 8개 모델보다 전반적으로 우수함을 확인하고, “오류를 찾아라”와 같은 구체적 질문 프롬프트가 “리뷰를 작성하라”는 일반 프롬프트보다 성능이 현저히 높다는 점을 발견한다. 이 인사이트를 바탕으로 세 가지 실험 과업을 설계하였다.

1. 오류 탐지: 13편의 짧은 컴퓨터 과학 논문에 고의적으로 삽입한 오류(수학적 오류, 개념적 오류 등)를 제시하고 GPT‑4에게 정확성 검증을 요청했다. 모델은 7편에서 오류를 정확히 식별했으며, 특히 수식 오류와 논리적 모순을 잘 포착했다. 그러나 6편에서는 오류를 놓치거나 잘못된 부분을 지적하는 등 한계가 드러났다. 이는 모델이 문맥을 파악하는 능력은 뛰어나지만, 깊이 있는 수학적 검증이나 도메인 특화 지식이 요구되는 경우 성능이 떨어짐을 의미한다.

2. 체크리스트 검증: NeurIPS 2022 논문 15편에 대해 119개의 폐쇄형 체크리스트 질문(예: 데이터 공개 여부, 윤리 검토 등)을 제시하고 정확성을 평가했다. GPT‑4는 86.6%의 정확도를 기록했으며, 특히 객관적 사실(데이터셋 공개 여부, 코드 제공 여부 등)에 대해서는 거의 완벽에 가까운 판단을 내렸다. 다만, “연구의 사회적 영향”과 같은 주관적 항목에서는 오답률이 상대적으로 높았다. 이는 LLM이 명확히 정의된 사실 기반 질문에는 강하지만, 해석이 필요한 질문에서는 인간 리뷰어의 판단을 대체하기 어렵다는 점을 보여준다.

3. 논문 우수도 판단: 10쌍의 초록을 제작해 한 쪽이 명백히 우수하도록 설계했음에도 불구하고, GPT‑4는 6쌍에서 잘못된 판단을 내렸다. 모델은 종종 문장 흐름이나 어휘 풍부함에 과도하게 가중치를 두어, 실제 연구 기여도나 실험 설계의 혁신성을 간과하는 경향을 보였다. 이는 LLM이 “좋은 논문”의 정의를 인간과 동일하게 내재화하지 못하고, 표면적 텍스트 특성에 의존한다는 한계를 드러낸다.

전체적으로, 논문은 LLM이 특정·제한된 리뷰 작업(오류 탐지, 체크리스트 검증)에서는 높은 효율성과 정확성을 제공할 수 있음을 입증한다. 그러나 전체적인 논문 평가—특히 창의성, 기여도, 사회적 영향 등 복합적인 판단이 요구되는 영역—에서는 아직 인간 전문가를 대체하기엔 부족하다. 저자는 향후 연구 방향으로 (1) 도메인‑특화 프롬프트 설계, (2) 인간‑LLM 협업 워크플로우 구축, (3) 모델의 메타‑인지 능력 강화 등을 제시한다. 이러한 제언은 현재 LLM을 리뷰 보조 도구로 활용하려는 학술 커뮤니티에 실질적인 로드맵을 제공한다.