운영용량이 실험 설계와 해석에 미치는 영향

초록

본 논문은 교사, 의료인, 사회복지사 등 용량이 제한된 인력이 제공하는 서비스 개입을 무작위 대조시험(RCT)으로 평가할 때 발생하는 ‘운영용량’(operational dosage) 문제를 이론·시뮬레이션으로 분석한다. 용량 제약이 존재하면 참여자 수가 증가할수록 서비스 지연·강도 감소가 발생해 처리 효과가 감소하고, 통계적 검정력도 중간 규모에서 최고에 달한다는 역설적 결과를 제시한다. 케냐 결핵 환자 대상 실험을 기반으로 한 시뮬레이션을 통해 고용량·소규모와 저용량·대규모 설계가 동일한 검정력을 가질 수 있음을 보여준다.

상세 분석

이 연구는 서비스 개입을 ‘용량 제약이 있는 서버(M명)’와 ‘대기열에 들어가는 참여자(N명)’의 큐잉 시스템으로 모델링한다. 개별 참여자는 바람직한 상태(0)와 비바람직한 상태(1) 사이를 전이하며, 비바람직한 상태에 있을 때만 서비스 자격을 얻는다. 서비스가 제공되면 상태 전이 확률이 p로 증가하고, 서비스 완료율은 μ이다. 따라서 실제 서비스 효과는 μ·p라는 ‘유효 서비스율’로 표현된다. 저자들은 마코프 연쇄와 안정 상태 분석을 통해 기대 대기열 길이 K(M,N)와 비바람직한 상태 비율을 도출하고, 이를 처리 효과와 검정력에 연결한다. 핵심은 ‘임계 비율 r’이다; N/M < r이면 시스템은 ‘품질 주도(QD)’ 구간으로, 추가 참여자가 처리 효과에 거의 영향을 주지 않는다. 반면 N/M > r이면 ‘효율 주도(ED)’ 구간으로 전환돼 대기열이 비선형적으로 증가하고, 서비스 지연으로 인해 p가 실질적으로 감소한다. 결과적으로 처리 효과는 N이 증가함에 따라 처음엔 상승하지만 r을 초과하면 급격히 감소한다. 통계 검정력도 동일한 패턴을 보이며, 전통적인 “표본 크기 증가 = 검정력 증가” 가정이 깨진다. 저자들은 ‘제곱근 스태핑(sqrt staffing)’이라는 휴리스틱을 제안해 M ≈ √N·(μ/λ) 형태로 용량을 설정하면 N/M ≈ r에 근접해 검정력을 최적화할 수 있음을 보인다. 시뮬레이션에서는 케냐 결핵 환자 대상 ‘Keheala’ 개입 데이터를 사용해 μ, λ, τ, p 등을 추정하고, 다양한 M과 N 조합을 시험한다. 결과는 고용량·소규모 설계가 저용량·대규모 설계와 동일한 검정력을 제공함을 확인한다. 이는 정책 입안자와 연구자가 실험 설계 단계에서 용량을 명시적으로 고려해야 함을 강조한다. 또한, 용량 제약으로 인한 SUTVA 위반(숨은 변이와 간섭) 메커니즘을 정량화함으로써 기존 문헌에서 다루던 스펙트럼 외의 인과 추론 위험을 체계적으로 드러낸다.