시험 응답 시간과 정답 가능성의 관계 분석

초록

본 연구는 물리학 컴퓨터 기반 저위험 시험에서 응답 시간과 응답 가능성(정답 확률) 사이의 연관성을 조사하였다. 아이템 난이도가 클수록 응답 시간과 가능성 간의 상관이 약해지고, 남학생은 빠르게 답할수록 가능성이 높았지만 여학생에서는 이러한 패턴이 나타나지 않았다.

상세 분석

본 논문은 응답 시간(Response Time, RT)과 응답 가능성(Response Likelihood, RL) 사이의 구조적 관계를 탐색함으로써 저위험(low‑stakes) 시험에서 발생할 수 있는 측정 오류와 편향을 정량화하려는 시도를 보인다. 연구자는 물리학 과목의 컴퓨터 기반 시험 데이터를 활용했으며, 각 응시자의 응답 시간은 밀리초 단위로 기록되고, 정답 여부를 기반으로 아이템별 가능성 점수를 산출하였다. 아이템 반응 모델로는 2‑파라미터 로짓(2PL) 모델을 적용해 난이도(b)와 변별도(a)를 추정하고, 각 응시자의 능력(θ)은 베이즈 추정법으로 계산하였다. 이후 RT와 RL 사이의 상관계수를 아이템 난이도 구간별로 나누어 분석했으며, 성별에 따른 차이도 다변량 회귀모형으로 검증하였다. 결과는 다음과 같다. 첫째, 난이도가 높은(즉, b값이 큰) 아이템일수록 RT와 RL 사이의 음의 상관계수가 감소한다. 이는 어려운 문제일수록 빠른 응답이 반드시 낮은 정답 가능성을 의미하지 않으며, 오히려 추론 과정이 복잡해져 시간과 정확도 사이의 전형적인 트레이드오프가 약화된다는 것을 시사한다. 둘째, 남학생 집단에서는 RT가 짧을수록 RL이 유의하게 높게 나타났으며, 회귀계수는 −0.42(p<0.01) 수준이었다. 반면 여학생 집단에서는 RT와 RL 사이에 통계적으로 유의한 관계가 발견되지 않았으며, 회귀계수는 −0.08(p=0.34)로 거의 무시할 수 있는 수준이었다. 이러한 성별 차이는 동기 부여, 시험 전략, 혹은 성별에 따른 시간 관리 습관 차이에서 비롯될 가능성이 있다. 셋째, 전체 표본에서 RT와 RL의 평균 상관계수는 −0.21이었으며, 이는 응답 시간이 짧을수록 정답 가능성이 다소 높다는 일반적인 경향을 보여준다. 그러나 이 관계는 아이템 난이도와 성별에 따라 크게 변동한다는 점이 강조된다. 마지막으로, 저위험 시험 환경에서 응시자들의 동기 저하가 RT와 RL 사이의 관계를 왜곡시킬 위험이 있음을 지적하며, 시험 설계 시 응답 시간 데이터를 보정 변수로 활용하거나, 시간 제한을 조정하는 방안을 제안한다.