다중현장 무작위시험을 활용한 조직 효과성 새로운 평가전략

초록

본 연구는 다중현장 무작위시험에서 관찰된 대조군 결과를 활용해 조직의 실질적 상대효과(LRE)를 정의하고, 사전·사후 차이를 조정하는 2단계 혼합효과 모델(2SME)을 제안한다. 시뮬레이션 결과 기존 ITT 기반 방법보다 편향과 평균제곱오차가 현저히 낮으며, 이를 전국 Job Corps 센터 데이터에 적용해 각 센터의 현지 조건을 고려한 효과성을 정량화한다.

상세 분석

이 논문은 조직 효과성 평가에서 가장 흔히 발생하는 ‘컨텍스트 혼동(confounding)’ 문제를 인과추론 관점에서 체계적으로 해결하려는 시도이다. 기존의 현장별 ITT( Intent‑to‑Treat) 효과는 조직이 제공한 서비스와 동시에 해당 현장의 인구구성, 대체 프로그램 가용성, 지역 경제 상황 등 외생적 요인을 모두 포함한다는 점에서 조직 자체의 실질적 기여를 과대·과소평가한다. 저자들은 이를 ‘Type A 효과’와 ‘Type B 효과’의 구분에 빗대어, 정책·회계적 관점에서 필요한 ‘Type B 효과’, 즉 조직 실천(practice)만이 만든 부가가치를 측정하고자 한다.

핵심 아이디어는 다중현장 무작위시험에서 각 현장의 대조군 평균 결과가 그 현장의 잠재적 ‘환경‑개인 상호작용(pre‑disposition‑by‑environment)’을 포괄하는 프록시 역할을 한다는 점이다. 따라서 대조군 평균을 보정 변수로 포함하면, 관측되지 않은 지역적 요인들을 부분적으로 통제할 수 있다. 이를 정량화하기 위해 두 단계 혼합효과 모델(2SME)을 설계한다. 1단계에서는 개별 수준의 사전 공변량과 현장별 대조군 평균을 고정효과와 랜덤효과로 모델링해 각 현장의 ‘기초 위험(baseline risk)’을 추정한다. 2단계에서는 치료군 결과를 1단계에서 얻은 현장별 베이스라인을 조건부 기대값으로 삼아, 현장별 조직 효과(즉, LRE)를 랜덤 슬로프 형태로 추정한다. 이 과정에서 현장 간 이질성(heterogeneity)을 명시적으로 모델링함으로써, 조직 간 비교가 동일한 ‘현지 생태조건’ 하에서 이루어졌음을 보장한다.

시뮬레이션에서는 (i) 대조군 평균을 전혀 사용하지 않은 전통적 ITT 기반 방법, (ii) 대조군 평균만 사용한 단순 보정 방법, (iii) 제안된 2SME 방법을 비교하였다. 결과는 2SME가 평균 편향을 거의 0에 가깝게 만들고, 평균제곱오차(MSE)를 가장 낮게 유지함을 보여준다. 특히, 대조군 평균을 포함했음에도 불구하고 현장별 미측정 요인이 강하게 작용하는 상황에서 2SME는 기존 방법보다 30 % 이상 정확도가 향상되었다.

실증 적용에서는 전국 100여 개 Job Corps 센터를 대상으로 2SME를 실행했다. 기존 연구가 제시한 평균 ITT 효과($1,415)와 현장 간 표준편차($1,687)와 달리, LRE 추정값은 각 센터가 ‘유사한 지역적 조건’ 하에서 얼마나 효율적으로 프로그램을 운영했는지를 보여준다. 예를 들어, 농촌 지역의 센터들은 대조군 평균이 낮아 상대적으로 높은 LRE를 보였으며, 도시 고실업 지역의 센터는 대조군 평균이 높아 LRE가 낮게 나타났다. 이는 정책 입안자가 단순 ITT 효과가 아닌, 현지 조건을 고려한 조직별 성과를 기반으로 계약 연장·재정 인센티브를 결정하도록 돕는다.

한계점으로는 (1) 대조군 평균이 완전한 프록시가 아니라는 점—특히 시간에 따라 변하는 지역 경제 상황을 완전히 포착하지 못한다; (2) 모델이 랜덤 슬로프를 가정하므로, 조직 효과가 선형적으로 변한다는 전제가 실제 비선형 관계를 놓칠 위험이 있다; (3) 다중현장 무작위시험 자체가 현장 간 교차오염(cross‑contamination)을 완전히 배제하지 못한다는 점이다. 향후 연구에서는 시계열 대조군 데이터, 비선형 혼합효과 구조, 그리고 다층 네트워크 상호작용을 통합한 확장 모델을 검토할 필요가 있다.

전반적으로 이 논문은 조직 효과성 평가에 인과추론과 다중현장 무작위시험을 결합한 새로운 분석 프레임워크를 제시함으로써, 정책·실무 현장에서 보다 공정하고 타당한 성과 측정을 가능하게 한다는 점에서 큰 의의를 가진다.