중복된 체계문헌고찰을 방지하라

초록

본 논문은 애자일 환경에서의 노력·비용 추정에 관한 18개의 체계문헌고찰(SLR)을 분석해, 연구자들이 새로운 SLR을 수행할 때 기존 연구를 충분히 검토하지 않는 현상을 지적한다. 저자들은 중복된 연구를 정당화하는 네 가지 주요 패턴을 도출하고, 중복을 최소화하기 위한 정책·가이드라인 제안을 제시한다.

상세 분석

이 연구는 2014년부터 2024년까지 발표된 18개의 SLR을 대상으로 정성적 내용 분석과 정량적 메타데이터(발행 연도, 인용 횟수, 발표 venue, DARE 품질 점수 등)를 결합한 복합적 방법론을 적용하였다. 먼저 검색 전략은 4개의 주요 데이터베이스와 Google Scholar를 활용해 “systematic review”, “effort estimation”, “Agile” 등 키워드 조합으로 162건을 추출하고, 중복 제거와 두 단계의 포함·제외 기준을 통해 최종 18건을 선정하였다.

분석 결과, 연도별 SLR 발표는 꾸준히 증가했으며 특히 2024년에 4편이 동시에 발표되는 등 ‘출판 폭발’ 현상이 관찰된다. 평균 포함 논문 수는 33편으로, 연도와 포함 논문 수 사이에 중간 정도의 양의 상관관계(r=0.50, p=0.034)가 존재한다. 그러나 포함 논문 수가 2040편 사이인 경우가 대부분이며, 812편처럼 매우 적은 논문을 대상으로 한 SLR도 4편 존재한다. 이는 연구 범위 설정이 충분히 검증되지 않았을 가능성을 시사한다.

품질 평가에서는 DARE 기준을 0‑1‑0.5 점제로 채점했으며, 평균 점수는 4.1점(최대 5점)으로 전반적으로 양호했지만, 절반에 가까운 SLR이 1차 연구의 품질 평가를 누락했다는 점이 눈에 띈다. 또한 DARE는 ‘SLR이 실제로 필요했는가’를 판단하지 않기 때문에, 높은 점수가 중복 연구 문제를 가려낼 수 없다는 한계가 드러난다.

가장 핵심적인 발견은 기존 SLR에 대한 인식 부족이다. 11편(≈60%)이 이전 SLR을 전혀 인용하지 않았으며, 인용이 있더라도 최신 연구와의 연관성을 충분히 논의하지 않았다. 저자들이 새로운 SLR을 정당화하는 방식은 크게 네 가지 패턴으로 구분된다. 첫째, 기존 연구가 다루지 않은 특정 하위 주제(예: 사용자 스토리 기반 추정)라고 주장; 둘째, 이전 연구의 방법론적 결함(검색 범위 제한, 품질 평가 부재 등)을 지적; 셋째, 시간적 최신성 부족(‘5년 이상 경과’)을 이유로 제시; 넷째, 기술·방법론의 급격한 변화(머신러닝 기반 추정 모델 등)로 인해 최신 종합이 필요하다고 주장한다. 이러한 정당화는 어느 정도 합리적일 수 있으나, 실제로는 대부분 기존 연구와 중복되는 내용이 많아 연구 효율성을 저해한다.

저자는 이러한 문제를 해결하기 위해 두 차원의 개입을 제안한다. 첫째, 연구 설계 단계에서 ‘SLR 프로토콜 레지스트리’(예: PROSPERO와 유사한 소프트웨어 엔지니어링 전용 레지스트리)의 활용을 의무화하거나 권장하여 중복 검증을 사전에 수행하도록 한다. 둘째, 학술지·학회 차원에서 제출된 SLR 초록에 기존 SLR 인용 현황과 차별성을 명시하도록 요구하고, 리뷰어에게는 이러한 검증 과정을 평가 항목에 포함시킨다. 이러한 정책적·절차적 개선은 중복된 SLR을 감소시키고, 연구 자원의 효율적 배분과 분야 전체의 지식 축적 속도를 높일 것으로 기대된다.