동료평가가 이론·방법·작성 모두를 고르게 다루지만 원고 내용 변화는 미미

초록

이 연구는 사회과학 분야 40편의 사전출판(preprint)과 정식출판 논문을 비교해 1,430개의 리뷰어 코멘트를 질적·양적으로 분석했다. 리뷰어 의견은 방법론(30.7%), 이론(30.0%), 글쓰기(29.2%)가 거의 동등하게 분포했으며, 제목·초록·본문의 의미적 차이는 작았다. 출판본은 사전출판보다 길어졌고, 인용문 2/3는 유지됐지만 20.9%가 추가, 13.1%가 삭제됐다. 즉, 리뷰어는 이론·방법·작성 모두에 주목했지만, 정량적 변화는 제한적이었다.

상세 분석

본 논문은 사회과학 분야에서 동료평가가 실제로 어떤 측면에 초점을 맞추는지, 그리고 그 평가가 원고에 어떤 구체적 변화를 초래하는지를 체계적으로 탐구한다. 연구자는 40개의 사전출판(preprint)과 정식출판된 논문 쌍을 선정하고, 각 논문에 대해 1,430개의 리뷰어 코멘트를 질적으로 코딩하였다. 코딩 체계는 크게 방법론, 이론, 글쓰기(표현·구조·문법) 세 축으로 나뉘며, 각각의 비중은 30.7%, 30.0%, 29.2%로 거의 동등하게 나타났다. 이는 기존 연구가 제시한 ‘방법론 중심’ 혹은 ‘이론 중심’ 편향과는 달리, 사회과학 리뷰어가 이 세 영역을 균형 있게 검토한다는 중요한 시사점을 제공한다.

정량적 변화를 측정하기 위해 저자는 정규화 레벤슈타인 거리(Normalized Levenshtein Distance), 코사인 유사도(Cosine Similarity), 그리고 단어 수 비율을 활용하였다. 결과는 제목과 초록, 전체 문서의 의미적 차이가 미미함을 보여준다. 구체적으로, 레벤슈타인 거리는 0.07~0.12 수준으로 낮았으며, 코사인 유사도는 0.94 이상으로 높은 일관성을 유지했다. 반면, 전체 텍스트 길이는 평균 12% 정도 증가했으며, 이는 주로 부록·표·그림 추가와 같은 형식적 보완에 기인한다.

인용문 분석에서는 두 버전 간 66.0%의 인용이 동일하게 유지됐지만, 20.9%는 새롭게 추가되고 13.1%는 삭제되었다. 추가된 인용은 대부분 리뷰어가 제안한 최신 연구나 보완적인 이론을 반영했으며, 삭제된 인용은 중복되거나 관련성이 낮다고 판단된 경우였다. 이러한 인용 변동은 리뷰어 코멘트와 직접 연결될 수 있었으며, 특히 ‘이론’ 카테고리에서 제시된 “핵심 이론적 프레임 재검토” 요청이 새로운 인용 추가와 강하게 연관됨을 확인했다.

전체적으로, 리뷰어는 이론적 근거와 방법론적 설계, 그리고 글쓰기 품질을 거의 동등하게 평가했지만, 정량적 지표(텍스트 유사도·단어 수·인용 비율)에서는 제한적인 변화를 야기했다. 이는 동료평가가 원고의 전반적인 품질을 향상시키는 데는 기여하지만, 핵심 내용 자체를 크게 수정하거나 재구성하는 데는 상대적으로 약한 영향을 미친다는 점을 시사한다. 또한, 리뷰어 코멘트와 실제 원고 수정 사이의 매핑을 정밀히 추적함으로써, 향후 동료평가 프로세스의 효율성 및 투명성을 높이는 방안을 모색할 수 있다.