대규모 언어 모델을 활용한 초록 평가 신뢰성 실증 연구

초록

본 연구는 ChatGPT‑5, Gemini‑3‑Pro, Claude‑Sonnet‑4.5 세 가지 최신 대규모 언어 모델(LLM)이 학술 초록을 평가할 때 인간 리뷰어와 얼마나 일관되고 신뢰할 수 있는지를 실험적으로 조사하였다. 160개의 초록을 동일한 7항목 루브릭으로 채점하고, LLM 간 및 LLM‑인간 간의 상호평가 신뢰도를 ICC와 Bland‑Altman 분석으로 비교하였다. LLM 간에는 좋은‑우수 수준(ICC 0.59‑0.87)의 일치도가 나타났으며, ChatGPT와 Claude는 인간과 중간 정도(ICC 0.45‑0.60)의 일치도를 보였다. 반면 Gemini는 주관적 항목에서 거의 일치하지 않았다. 평균 점수 차이는 모두 0.5 이하로 미미했으나, 주관적 기준(영향, 참여도, 적용성)에서는 인간 판단을 대체하기 어렵다는 결론에 도달했다.

상세 분석

이 논문은 LLM을 학술 초록 평가에 적용함으로써 기존 피어리뷰의 인력 부족과 평가 일관성 문제를 완화할 가능성을 탐색한다. 연구 설계는 160개의 초록을 동일한 7‑항목(인상, 명료성, 목표, 결과, 영향, 참여도, 적용성) 루브릭으로 채점하도록 인간 리뷰어 14명과 세 LLM을 배정한 점이 특징이다. 인간 리뷰어는 각 초록당 두 명이 독립적으로 평가했으며, LLM은 배치 처리와 프롬프트 엔지니어링을 통해 일관된 채점을 수행하도록 설계되었다.

신뢰도 평가는 두 가지 모델을 사용하였다. LLM 간 일관성은 2‑way random effects, absolute agreement 모델(ICC(2,k))로 측정했으며, 결과는 복합 점수와 결과 항목에서 각각 0.80, 0.87로 ‘우수’ 수준을 보였다. 이는 세 모델이 동일한 평가 기준을 내부적으로 일관되게 적용함을 의미한다. 반면 인간‑LLM 간 일치도는 1‑way random effects 모델(ICC(1,k))으로 분석했으며, ChatGPT와 Claude는 복합 점수에서 0.50‑0.55 정도의 ‘중간’ 수준을 기록했다. 특히 주관적 항목인 영향, 참여도, 적용성에서는 0.23‑0.38 수준의 ‘공정’ 수준에 머물렀다. Gemini는 이러한 주관적 항목에서 0.00에 가까운 ICC를 보여, 해당 모델이 분야 외적 의미나 사회적 파급 효과를 평가하는 데 한계가 있음을 시사한다.

Bland‑Altman 플롯은 평균 차이가 모두 0.5 이하(ChatGPT +0.24, Gemini +0.42, Claude ‑0.02)이며, 95% 신뢰구간 내에 대부분의 차이가 포함되는 것을 보여준다. 차이값이 평균 점수가 높을수록 감소하는 경향은 특히 ChatGPT에서 약한 음의 상관관계(ρ = ‑0.16)로 나타났지만, 효과 크기가 작아 실질적 의미는 제한적이다.

연구는 LLM이 대량의 초록을 빠르게 처리하고, 객관적·구조적 항목(명료성, 목표, 결과)에서는 인간과 비교해 충분히 신뢰할 수 있음을 입증한다. 그러나 ‘영향’, ‘참여도’, ‘적용성’ 같은 주관적·맥락적 판단에서는 인간 전문가의 역할이 여전히 필수적이다. 이는 LLM이 평가 프로세스의 전처리 단계(예: 초기 스크리닝, 객관적 점수 산출)에서 보조적 역할을 수행하고, 최종 의사결정은 인간이 검증하는 하이브리드 워크플로우가 가장 현실적이라는 시사점을 제공한다.

또한, 프롬프트 설계와 배치 처리 전략이 LLM의 일관성에 크게 기여했으며, 향후 연구에서는 다양한 도메인, 더 큰 샘플, 그리고 다중 모델 앙상블을 통해 주관적 항목의 신뢰도를 향상시킬 가능성을 탐색할 필요가 있다.