소프트웨어 공학 분야 동료 평가 현황과 향후 방향에 대한 커뮤니티 인식 조사

초록

본 연구는 ICSE 2014‑2016년 저자와 리뷰어 932명을 대상으로 설문조사를 실시해, 현재 동료 평가의 질에 대한 부정적 인식, 블라인드·오픈 리뷰 도입에 대한 선호, 보상 및 향후 변화 예측 등을 분석한다. 결과는 현 상황이 개선될 조짐이 적으며, 커뮤니티 차원의 적극적인 제도 개혁이 필요함을 시사한다.

상세 분석

이 논문은 소프트웨어 공학 분야에서 가장 권위 있는 국제 학술대회인 ICSE를 표본으로 삼아, 동료 평가(피어 리뷰)의 현황과 미래에 대한 커뮤니티의 인식을 정량·정성적으로 파악한다. 설문 대상은 2014‑2016년 ICSE 논문 저자와 리뷰어 932명이며, 실제 응답자는 241명(응답률 29%)으로 비교적 높은 참여율을 보였다. 설문은 10개의 폐쇄형 질문(주로 10점 Likert 척도)과 9개의 개방형 질문으로 구성돼, 양적 데이터는 비율·평균으로 제시하고, 개방형 응답은 Strauss와 Corbin의 오픈 코딩 방식을 적용해 주요 테마를 도출하였다.

주요 결과는 다음과 같다. 첫째, 리뷰 품질에 대한 인식이 매우 부정적이다. 응답자의 약 33%는 받은 리뷰가 ‘좋다’고 평가했지만, 동일 비율이 ‘쓸모없다’거나 ‘오해를 불러일으킨다’고 답했다. 둘째, 블라인드 정도에 대한 의견이 분열되었지만, 다수는 ‘이중 블라인드(double‑blind)’ 혹은 ‘제로 블라인드(zero‑blind)’ 체제로 전환을 선호한다. 이는 리뷰어의 편향을 줄이고, 리뷰어가 자신의 이름을 공개했을 때 품질이 향상될 가능성을 기대한다는 점과 일맥상통한다. 셋째, 리뷰 결과와 초안을 공개(open review)하는 방안에 대해서도 일정 부분 지지를 얻었으며, 특히 리뷰 품질 향상과 연구 재현성 확보에 긍정적 영향을 기대한다. 넷째, 리뷰어 보상에 관한 질문에서는 금전적 보상보다는 ‘좋은 리뷰 작업에 대한 가시적 증명(예: Publons 같은 플랫폼을 통한 인정)’을 선호하는 경향이 강했다. 다섯째, 향후 20년간 리뷰 문화가 자연스럽게 개선될 것이라는 기대는 낮았으며, 회귀 분석 결과 연령·경력·연도와 같은 변수들이 현재 인식에 큰 영향을 미치지 않는 것으로 나타났다. 즉, ‘시간이 지나면 자동으로 개선된다’는 낙관적 가설은 통계적으로 지지되지 않았다.

연구자는 이러한 결과를 바탕으로, 현재 SE 분야의 피어 리뷰 시스템이 구조적 변화를 필요로 함을 강조한다. 특히, ‘이중 블라인드·제로 블라인드·오픈 리뷰’를 조합한 혼합 모델을 실험적으로 도입하고, 리뷰어의 기여를 정량화·공개하는 메커니즘을 구축함으로써, 리뷰 품질과 투명성을 동시에 높일 수 있을 것으로 제안한다. 또한, 설문 응답자 대부분이 ‘시니어’ 연구자였음에도 불구하고 새로운 제도 도입에 비교적 개방적인 태도를 보인 점은, 향후 정책 변화에 대한 실행 가능성을 시사한다.

한편, 연구의 한계로는 표본이 ICSE라는 고품질 회의에 국한돼 일반 학술지나 다른 학술대회와의 비교가 어려우며, 응답자 자체가 리뷰에 관심이 높은 ‘자발적’ 집단일 가능성이 있다는 점을 들었다. 따라서 결과를 전 분야에 일반화하기 위해서는 보다 다양한 학술 행사와 지역을 포함한 추가 연구가 필요하다.

전반적으로, 이 논문은 소프트웨어 공학 커뮤니티 내에서 피어 리뷰에 대한 불만과 개선 요구가 명확히 존재함을 실증적으로 보여주며, 제도적 개혁을 위한 구체적 방향성을 제시한다는 점에서 학술 출판 정책 입안자와 연구자 모두에게 중요한 참고 자료가 될 것이다.