컴퓨터 적응형 시험 구현 과제와 해결 방안

초록

본 논문은 대학에서 점차 도입되고 있는 컴퓨터 기반 시험(CBT)과 비교해 컴퓨터 적응형 시험(CAT)의 장단점을 논의하고, 아이템 노출 문제를 완화하기 위한 여러 선택 전략을 비교한다. 또한 저자들이 직접 개발한 CAT 시스템의 설계·구현 과정을 소개하고, 자체 학습 플랫폼에서 수집한 응답 데이터를 활용한 아이템 난이도 추정 방법을 제시한다.

상세 분석

컴퓨터 적응형 시험(CAT)은 시험 응시자의 능력 추정치를 실시간으로 업데이트하면서, 현재 추정치와 가장 높은 정보를 제공하는 문항을 선택하는 방식이다. 이 과정에서 시험 길이를 크게 단축하고, 측정 정확도를 유지하거나 향상시킬 수 있다는 점이 큰 장점으로 꼽힌다. 반면, 아이템 노출 제어가 미비하면 특정 난이도 혹은 높은 정보량을 가진 문항이 과도하게 사용되어 시험 보안에 위협이 될 수 있다. 논문은 이러한 노출 문제를 해결하기 위해 ‘Maximum Information’, ‘Randomesque’, ‘Stratified Random’ 등 세 가지 선택 전략을 실험적으로 비교한다. 실험 결과, 순수 최대 정보 선택은 측정 효율성이 가장 높지만 노출 빈도가 급격히 상승하는 반면, Randomesque와 Stratified Random은 노출 균형을 유지하면서도 측정 정확도 손실을 최소화한다는 점을 확인한다.

시스템 구현 측면에서는 아이템 풀 관리, 응시자 능력 추정 알고리즘, 실시간 문항 선택 모듈, 그리고 결과 보고서 생성 기능을 포함한 전반적인 아키텍처를 제시한다. 특히, 아이템 난이도 추정에 있어 기존의 사전 시험 데이터를 활용하는 전통적 방법 대신, 저자들이 운영하는 자체 학습 시스템에서 수집한 응답 로그를 이용한 베이지안 추정 방식을 적용한다. 이 방법은 신규 아이템에 대한 초기 난이도 추정을 빠르게 수행할 수 있어, 아이템 풀의 지속적인 확장과 업데이트에 유리하다.

또한, 구현 과정에서 발견된 실무적 난관으로는 (1) 응시자 인터페이스 설계 시 적응형 특성을 명확히 전달하기 어려움, (2) 실시간 추정 및 선택 알고리즘의 연산 부하가 시험 서버에 미치는 영향, (3) 아이템 메타데이터(난이도, 변별도, 추정 오차 등)의 일관된 관리 필요성 등을 들었다. 이를 해결하기 위해 저자는 캐시 기반 추정값 저장, 비동기식 문항 로딩, 그리고 메타데이터 자동 검증 스크립트를 도입하였다.

전반적으로 논문은 CAT 시스템 도입을 고려하는 교육기관에 실질적인 가이드라인을 제공한다. 아이템 노출 제어를 위한 선택 전략 선택 시, 시험 목적(정밀도 vs 보안)과 아이템 풀 규모를 종합적으로 고려해야 함을 강조한다. 또한, 자체 로그 데이터를 활용한 난이도 추정 기법은 초기 아이템 구축 비용을 크게 절감시킬 수 있는 실용적인 대안으로 평가된다.