다중 수준 반응을 위한 실험 설계와 대규모 교육 개입 적용

초록

이 논문은 교사와 학생 두 수준에서 효과를 측정해야 하는 교육 개입 실험에서, 학교 수준 무작위, 교사 수준 무작위, 전면 교사 무작위 세 가지 설계의 효율성을 비교한다. 혼합모형과 시뮬레이션을 통해 각 설계의 처리 효과 추정 분산을 평가하고, 설계 선택 시 고려해야 할 군집 내·간 상관 구조를 제시한다.

상세 분석

본 연구는 교육 현장에서 교사에게 직접 개입을 가하면서도 학생에게 파생되는 효과를 동시에 평가해야 하는 복합적인 상황을 다룬다. 전통적으로 군집(randomized cluster) 설계는 교사와 학생이 같은 학교에 소속돼 있기 때문에 오염(contamination) 위험을 줄이는 장점이 있지만, 군집 내 상관관계(intraclass correlation, ICC) 때문에 통계적 검정력(power)이 감소한다. 반면, 교사 수준에서 완전 무작위화는 개별 교사의 특성을 보다 직접적으로 반영해 효율성을 높일 수 있으나, 같은 학교 내 교사 간 상호작용이나 교사 간 정보전달로 인한 오염 가능성이 존재한다.

논문은 세 가지 설계를 구체적으로 정의한다. 첫째, 학교 무작위화(school‑level randomization)에서는 전체 학교를 처리군·통제군으로 나누어, 각 학교 내 모든 교사와 학생이 동일한 처치를 받는다. 둘째, 학교 내 교사 무작위화(within‑school teacher randomization)에서는 각 학교를 블록으로 보고, 교사들을 처리군·통제군에 배정한다. 셋째, 전면 교사 무작위화(complete teacher randomization)에서는 학교 경계를 무시하고 모든 교사를 독립적으로 무작위 배정한다.

각 설계에 대해 혼합효과모형을 구축한다. 교사 수준 효과는 교사 고유의 랜덤 효과와 학교 랜덤 효과를 포함하고, 학생 수준 효과는 교사와 학교의 랜덤 효과에 더해 학생 개별 오차를 포함한다. 핵심은 두 수준의 ICC, 즉 교사 간(학교 내) 상관과 학생 간(교사 내) 상관을 명시적으로 모델링함으로써 처리 효과 추정 분산을 정확히 계산할 수 있다는 점이다.

시뮬레이션에서는 ICC 값들을 다양하게 변동시켜(예: 교사‑학생 상관 0.050.30, 학교‑교사 상관 0.010.15) 각 설계의 기대 분산을 비교한다. 결과는 일반적으로 학교 무작위화가 높은 학교‑교사 ICC일 때 가장 효율적이며, 교사 무작위화는 교사‑학생 ICC가 클 때 유리함을 보여준다. 특히, 오염 효과를 0으로 가정했을 때와 0.05 정도로 가정했을 때의 차이를 분석해, 오염이 존재하면 교사 무작위화가 급격히 효율성을 잃는 반면, 학교 무작위화는 오염에 강인함을 확인했다.

또한, 논문은 R 기반의 시뮬레이션 도구를 제공한다. 사용자는 예상되는 군집 크기, ICC, 총 표본 규모 등을 입력해 각 설계의 예상 처리 효과 분산을 즉시 계산할 수 있다. 이는 연구 설계 단계에서 비용·표본·검정력 트레이드오프를 정량적으로 평가하는 데 큰 실용성을 제공한다.

핵심 인사이트는 **“하나의 설계가 모든 상황에 최적이 아니다”**는 점이다. 연구자는 목표 효과(교사 vs. 학생), 예상 오염 가능성, 군집 내 상관 구조를 종합적으로 고려해 설계를 선택해야 하며, 제시된 도구를 활용하면 이러한 복합적인 판단을 정량화할 수 있다.