연구 종합에서 불확실성 관리와 분석 경로 설계

초록

본 연구는 체계적 검토와 메타분석을 수행하는 전문가 11명을 인터뷰하여, 480개의 분석 결정이 어떻게 이루어지는지를 탐색한다. 연구자는 ‘불확실성 인정·축소·억제’라는 세 가지 전략을 통해 포크 경로(garden of forking paths)를 관리한다는 사실을 밝혀냈으며, 이를 지원하는 인터랙티브 시스템 설계의 필요성을 제시한다.

상세 분석

이 논문은 ‘포크 경로’라는 개념을 연구 종합 분야에 적용함으로써, 분석 단계마다 발생하는 선택의 자유도가 결과에 미치는 영향을 체계적으로 조명한다. 11명의 실무 연구자를 대상으로 한 반구조화 인터뷰는 480개의 구체적 결정 사례를 도출했으며, 이를 바탕으로 ‘불확실성 관리 전략’을 세 가지 범주(Acknowledge, Reduce, Suppress)로 분류하였다.

1. **불확실성 인정(Acknowledge)**은 가능한 여러 분석 경로를 탐색하고, 잠재적 위험을 사전에 파악하거나 결과 해석에 대한 경고를 제공하는 단계이다. 예를 들어, 회색문헌을 포함하거나, 연구 질문을 넓게 설정해 다양한 변수를 고려하는 것이 이에 해당한다. 이 단계는 연구자가 전체 분석 공간을 시각화하고, 대안적 결과를 비교할 수 있는 기반을 마련한다.

2. **불확실성 축소(Reduce)**는 규칙·프로토콜·가정 등을 적용해 선택지를 제한하고, 일관된 절차를 따르는 과정이다. 포함·제외 기준을 명확히 정의하거나, 사전 정의된 통계 모델을 적용하는 것이 전형적인 사례다. 이 전략은 재현성을 높이고, 의사결정의 투명성을 확보하지만, 동시에 선택된 경로가 결과에 미치는 영향을 과소평가할 위험이 있다.

3. **불확실성 억제(Suppress)**는 직관·추측·시간 압박 등으로 대안을 배제하고 빠르게 결정을 내리는 방식이다. 인터뷰에서는 연구자가 ‘시간이 부족해 대안을 검토하지 못한다’는 언급이 빈번히 등장했으며, 이는 결과의 편향성을 심화시킬 가능성이 있다.

논문은 기존 연구 종합 도구(RevMan, EPPI‑Reviewer, Rayyan 등)가 개별 단계에 초점을 맞추어 전체 분석 흐름을 통합적으로 지원하지 못한다는 한계를 지적한다. 특히, 대안 분석 경로를 동시에 탐색·비교하고, 의사결정 근거를 체계적으로 기록·시각화하는 기능이 부족하다. 저자들은 이러한 결함을 보완하기 위해 ‘분석 경로 탐색 인터페이스’, ‘결정 근거 연계 시각화’, **‘불확실성 커뮤니케이션 템플릿’**을 제안한다.

핵심 인사이트는 다음과 같다.

• 다중 경로 탐색의 필요성: 연구자는 한 번에 여러 분석 시나리오를 실행하고 결과를 비교함으로써, 어느 선택이 결과에 실질적 영향을 미치는지 파악할 수 있다.
• 결정 근거와 결과 영향의 분리: 현재는 ‘왜 이 결정을 했는가’에 초점이 맞춰져 있으나, 시스템은 ‘이 결정이 결과에 어떤 변화를 일으켰는가’를 명시적으로 보여줘야 한다.
• 불확실성에 대한 커뮤니케이션: 의사결정자는 결과를 소비하는 정책 입안자나 실무자가 불확실성을 과도하게 회피하는 경향을 보이므로, 시각적·서술적 불확실성 표현이 필요하다.

이러한 통찰은 연구 종합 작업을 보다 투명하고 재현 가능하게 만들며, 최종 사용자에게 보다 신뢰성 있는 증거 기반 결정을 제공하는 데 기여한다.