학습일수 지표의 함정과 대안

초록

본 논문은 제3차 국가 차터스쿨 연구(NCSS III)에서 사용된 “학습일수(days of learning)” 지표를 비판하고, 동일 효과를 보다 정확히 전달할 수 있는 대안을 제시한다. 저자는 .01 표준편차(SD)와 5.78 일을 연결한 변환 과정이 NAEP 점수와 학년 간 차이를 부적절하게 혼합하고, 학년 내 성장과 학년 간 성장의 차이를 무시한다는 점을 지적한다. 또한 성장률의 비선형성, 여름 손실, 시험 내용 차이 등을 고려하면 현재 변환값은 실제 학습 효과를 과대평가한다. 논문은 학년 내 “학습일수”를 기준으로 재계산한 결과, 수학에서는 6일 → 2일, 읽기에서는 16일 → 6일 정도로 크게 축소될 수 있음을 보여준다. 최종적으로는 효과 크기와 실제 교육적 의미를 함께 제시하는 복합 보고 방식을 제안한다.

상세 분석

이 논문은 NCSS III가 제시한 “학습일수” 지표의 수학적 근거와 적용상의 문제점을 체계적으로 해부한다. 첫 번째로, .01 SD ↔ 5.78 일이라는 변환 상수는 NAEP 4학년‑8학년 수학·읽기 복합점수의 평균과 표준편차를 이용해 역산했지만, NAEP 점수는 학년 간 등가 척도가 아니며, 학년 상승을 직접적으로 측정할 수 없다는 점을 간과한다. 즉, 점수 차이를 학년 상승으로 해석하는 전제가 잘못되었다. 두 번째로, 저자는 학년 내 성장(가을‑봄)과 학년 간 성장(학년 전이) 사이의 구분을 명확히 하지 않은 점을 비판한다. 실제로 학년 내 성장은 평균 0.89 SD가 180일(학년 기간) 동안 발생한다는 사례를 들어, .01 SD는 약 2일에 해당한다는 계산을 제시한다. 이는 NCSS III가 사용한 5.78 일 대비 약 3배 정도 낮은 값이며, 따라서 보고된 6일(수학)·16일(읽기) 효과는 실제로는 2일·6일 수준으로 축소될 수 있다. 세 번째 문제는 성장률의 비선형성이다. 학년이 올라갈수록 성장 속도는 감속하고, 여름 방학 등 계절적 요인으로 인해 성장곡선은 사각파 형태를 보인다. 이런 비선형성을 무시하고 연간 평균 성장률을 고정된 1 SD로 가정하면, “학습일수”는 실제 학습 진전을 과대평가한다. 또한, 논문은 z‑점수 차이(𝑧₂‑𝑧₁)를 여러 학년·과목에 걸쳐 합산하는 방식이 시험 내용의 차이(예: 기본 연산 vs. 소수·분수)까지 동일하게 취급한다는 점에서 해석의 타당성을 훼손한다고 지적한다. 결론적으로, 저자는 “학년 내 학습일수”라는 보다 직관적인 지표를 제안한다. 이는 실제 교실에서 경험하는 일일 학습 진전과 직접 연결되며, 효과 크기(Cohen’s d 등)와 함께 제시될 때 정책 입안자와 일반 독자 모두에게 의미 있는 정보를 제공한다. 마지막으로, 효과 크기와 실제 일수 변환을 동시에 보고하되, 변환 과정과 가정(성장 속도, 학년 구분, 시험 내용 일관성 등)을 명시하도록 권고한다.