시뮬레이션 기반 추론이 학생 준비도와 성과에 미치는 영향

초록

본 연구는 통계 입문 과목에서 전통적 교과서와 시뮬레이션 기반 추론(SBI) 교과서를 사용한 두 집단을 비교한다. 사전 개념 검사 점수와 ACT 수학 점수를 학생 준비도의 지표로 삼아, 과정 전후 개념 이해도(CAOS) 변화량을 분석하였다. 초기 SBI 교과서는 전통 교과서 대비 모든 준비도 그룹에서 평균 2~3%p(퍼센트 포인트) 높은 향상을 보였으며, ACT 점수별로도 유의미한 차이를 나타냈다. 최신 SBI 교과서에서도 전반적인 향상이 확인됐지만 비교 대상이 없었다. 결과는 SBI가 학생의 사전 준비도와 무관하게 개념 이해를 증진시킨다는 점을 시사한다.

상세 분석

이 논문은 통계학 입문 과목(Stat 101)에서 학생들의 사전 준비도가 학업 성취에 미치는 영향을 탐구하면서, 특히 시뮬레이션 기반 추론(SBI) 교육법이 전통적인 ‘컨센서스’ 교과서와 비교했을 때 어떤 차이를 보이는지를 정량적으로 분석한다. 연구 설계는 크게 세 단계로 구성된다. 첫째, 두 개의 중소규모 자유예술대학에서 전통 교과서(‘컨센서스’)를 사용한 289명과, 동일 기관에서 초기 SBI 교과서를 사용한 366명을 대상으로 사전·사후 CAOS(Comprehensive Assessment of Outcomes in Statistics) 점수를 수집하였다. 둘째, 학생들을 사전 CAOS 점수와 ACT 수학 점수에 따라 약 3분위(tertial)로 나누어, 각 그룹별 평균 점수 변화와 교과서 간 차이를 선형 모델(Curriculum + Institution)로 분석했다. 셋째, 최신 SBI 교과서를 적용한 13개 기관(총 1078명)에서 동일한 CAOS 변형판을 사용해 전반적인 향상을 확인했지만, 직접적인 비교군이 없었다는 한계가 있다.

주요 통계 결과는 다음과 같다. 사전 CAOS 점수가 낮은(≤40%) 학생군에서는 초기 SBI가 컨센서스 대비 평균 2.0 %p(표 1, SE = 1.4) 높은 점수 향상을 보였으며, 중간군(40–50%)에서는 3.1 %p( SE = 1.5, p<0.05) 차이가 통계적으로 유의했다. 고성능군(≥50%)에서도 2.1 %p 차이가 관찰됐지만 유의미성은 부족했다. ACT 점수별 분석에서는 모든 3개 분위에서 초기 SBI가 컨센서스보다 평균 4.7~8.2 %p 높은 향상을 보였으며, 특히 저 ACT(≤22) 그룹에서 8.2 %p 차이가 가장 크게 나타났다(p<0.001). 이는 학생의 수학적 준비도가 낮을수록 SBI가 더 큰 효과를 발휘한다는 가설을 뒷받침한다.

하위 영역(서브스케일) 분석에서는 데이터 수집·설계, 유의성 검정, 확률 영역에서 초기 SBI가 유의미한 개선을 가져왔다. 특히 저성능군에서는 확률 영역에서 15.8 %p, 데이터 수집·설계에서 9.4 %p, 유의성 검정에서 8.4 %p의 향상이 관찰되었다. 이는 시뮬레이션을 통한 직관적 경험이 추상적 확률 개념 습득에 크게 기여함을 시사한다.

연구의 강점은 (1) 사전·사후 개념 평가를 동일 도구(CAOS)로 수행해 변화량을 직접 측정했으며, (2) 학생 준비도를 다차원(개념 점수, ACT)으로 구분해 교과서 효과를 세분화했다는 점이다. 반면 제한점으로는 (①) 초기 SBI와 최신 SBI 사이의 직접 비교가 없으며, (②) 최신 SBI 데이터는 비대조군이 없어 효과 크기를 절대적으로 판단하기 어렵다, (③) 학생들의 인구통계학적 변수(성별, 전공, 고등학교 교육 배경 등)가 충분히 통제되지 않아 잠재적 교란 요인이 존재한다는 점이다. 또한, ACT 점수는 한 기관에서만 수집되었으므로 일반화에 주의가 필요하다.

실무적 함의는 다음과 같다. 첫째, 교수자는 학생들의 사전 수학 능력이 낮더라도 SBI 교재를 도입하면 개념 이해도를 크게 끌어올릴 수 있다. 둘째, 교육 설계 시 초기 단계에서 시뮬레이션과 부트스트래핑을 활용해 데이터 탐색과 추론 과정을 체험하게 하면, 특히 확률·통계적 유의성 개념에 대한 학습 효과가 증대된다. 셋째, 교과서 선택에 있어 ‘모두에게 동일한 효과’를 기대한다면, SBI가 전통 교과서보다 포괄적인 학습 향상을 제공한다는 근거가 된다. 향후 연구에서는 다양한 교육 환경(대규모 공립대, 온라인 강의)과 교강사의 교수법 차이를 통제한 다변량 모델을 구축하고, 장기적인 지식 유지와 실제 데이터 분석 능력 전이 효과를 추적할 필요가 있다.