외부 검증 연구를 위한 베이지안 표본 크기 계산

초록

본 논문은 위험 예측 모델의 외부 검증 시, 기존의 고정값 기반 표본 크기 산정 방식이 갖는 불확실성을 베이지안 프레임워크로 보완한다. 모델 성능(분별력, 보정)에 대한 사전 불확실성을 반영하고, 기대 정밀도, 보증 확률, 최적성 보증 및 가치 정보(VoI)와 같은 다중 기준을 적용한 표본 크기 규칙을 제시한다. COVID‑19 환자 악화 위험 모델을 사례로 삼아, 전통적 방법에 비해 베이지안 접근이 보다 유연하고 효율적인 표본 크기 결정을 가능하게 함을 보여준다.

상세 분석

이 연구는 위험 예측 모델의 외부 검증을 설계할 때, 기존에 널리 사용되어 온 Riley 등(2020)의 다중 기준 표본 크기 공식이 “고정된 성능값”을 전제로 한다는 근본적인 한계를 지적한다. 실제로 이전 연구에서 얻은 성능 추정치는 표본 오차와 모델 전이 불확실성을 내포하고 있어, 고정값을 입력으로 사용하는 것은 과도한 확신을 부여한다. 저자들은 이러한 문제를 해결하기 위해 베이지안 접근을 도입한다. 먼저, 모델의 분별력(c‑statistic), 보정 기울기(β) 및 사건 발생률(ϕ) 등 주요 성능 지표에 대한 사전 분포를 정의한다. 이 사전 분포는 기존 연구의 추정치와 그 표준 오차, 혹은 전문가 의견을 통해 구성될 수 있다. 그런 다음, 주어진 표본 크기 N에 대해 사전‑예측(pre‑posterior) 시뮬레이션을 수행해 각 지표의 추정값과 95 % 신뢰구간 폭을 반복적으로 생성한다.

핵심적인 표본 크기 규칙은 크게 네 가지로 구분된다. 1) 기대 정밀도(ECIW) 규칙은 시뮬레이션된 CI 폭의 평균이 사전 정의된 목표 τ 이하가 되도록 최소 N을 찾는다. 2) 보증 확률(QCIW) 규칙은 CI 폭이 목표 τ 이하가 될 확률이 지정된 수준(예: 90 %)을 만족하도록 N을 결정한다. 이는 “assurance” 개념을 도입해 한 번의 실제 연구에서 목표 정밀도를 달성하지 못할 위험을 정량화한다. 3) 최적성 보증 규칙은 Net Benefit(NB) 관점에서, 주어진 위험 임계값 z에서 가장 높은 NB를 제공하는 전략(모델 사용, 전부 치료, 무치료)을 올바르게 식별할 확률을 목표한다. 4) 가치 정보(VoI) 규칙은 추가 표본을 확보함으로써 기대되는 NB 향상을 직접 계산한다. 여기서 VoI는 사전‑예측 분포에서 NB의 기대값 차이를 측정해, 비용 대비 효용을 정량화한다.

논문은 이러한 규칙들을 COVID‑19 환자 악화 위험 모델에 적용한다. 기존 연구에서 보고된 c‑statistic≈0.78, β≈0.95, ϕ≈0.12 등을 사전 평균으로, 각각의 표준 오차를 이용해 정규 사전을 설정한다. 시뮬레이션 결과, 전통적인 Riley 방식이 요구하는 표본 크기(N≈800)는 기대 정밀도 기준에서는 충분하지만, 보증 확률 90 %를 만족하려면 N≈1200이 필요하다. 반면, VoI 기반 NB 최적화에서는 추가 표본이 NB를 0.02만큼 향상시키는 데 필요한 비용 대비 효용이 낮아, N≈400 정도만 확보해도 충분함을 보여준다. 이는 임상 의사결정에 직접 연결되는 NB를 중심으로 할 때, 전통적인 정밀도 중심 접근보다 훨씬 적은 표본으로도 목표를 달성할 수 있음을 의미한다.

이러한 베이지안 프레임워크는 (1) 기존 증거를 정량적으로 활용해 사전 불확실성을 명시화, (2) 다양한 의사결정 목표(정밀도, 보증, 임상 효용)를 동시에 고려, (3) 표본 크기 결정 과정에서 비용‑효용 분석을 직접 포함한다는 점에서 기존 방법론을 크게 확장한다. 또한, 하위 그룹(예: 인종·성별)별 보정 정확도 목표를 설정하거나, 다중 모델 비교 상황에서도 동일한 베이지안 시뮬레이션 구조를 적용할 수 있어, 실제 임상 연구 설계에 높은 적용 가능성을 제공한다.