온라인 과제 자동화와 평가

초록

본 논문은 교재 출판사의 LMS 의존성을 탈피하고, 오픈소스 WeBWorK 도입의 어려움을 극복하기 위해 Mathematica 기반 자동문제 생성 프로그램을 개발하여 Respondus와 Blackboard Learn에 연동한 사례를 제시한다. 초등대수, 중등대수, 행동과학 통계 세 과목에 적용한 결과, 5학기 동안 학생 성취도 데이터를 수집·분석하고, 구현 과정에서 얻은 실무적 교훈을 정리한다.

상세 분석

이 연구는 전통적인 교재 출판사 제공 LMS 가 브랜드 충성도를 강화하기 위한 도구로 작동한다는 전제 하에, 교육 현장의 실제 요구를 충족시키는 대안적 온라인 과제 시스템을 구축하고자 한다. WeBWorK 와 같은 오픈소스 플랫폼은 강력하지만, 대학 차원의 IT 인프라와 관리 권한이 필요해 도입 장벽이 높다. 따라서 저자들은 이미 사용 중인 Blackboard Learn 과 연동 가능한 Respondus 를 매개체로 삼아, Mathematica 로 자동 생성된 문제와 이미지 파일을 직접 Blackboard 로 업로드하는 워크플로우를 설계했다.

Mathematica 스크립트는 크게 네 가지 기능을 수행한다. 첫째, 지정된 확률분포(정규, 이항, 포아송 등)에서 무작위 표본을 추출해 통계 문제용 데이터 세트를 만든다. 둘째, 특정 인수 구조를 갖는 다항식을 무작위로 생성해 대수 과제에 활용한다. 셋째, 히스토그램, 산점도, 박스플롯 등 시각적 자료를 자동으로 그려 PNG 형식으로 저장한다. 넷째, 생성된 텍스트와 이미지 파일을 Respondus 가 인식할 수 있는 XML/CSV 포맷으로 변환한다. 이러한 자동화는 문제 풀(pool) 규모를 기하급수적으로 확대하면서도, 매번 수작업으로 입력해야 하는 오류를 최소화한다.

실험 대상은 Connecticut State University 시스템 내 세 개의 과목, 각각 초등대수, 중등대수, 행동과학 통계 I 이다. 각 과목마다 1012개의 과제 세트를 구축했으며, 각 세트는 2030개의 문제를 포함한다. 과제는 주당 한 번씩 배포되었고, 학생들은 Blackboard 를 통해 즉시 접근·제출하였다. 성적 데이터는 과제 점수, 중간고사·기말고사 점수, 그리고 전체 학점 평균(GPA)과 연계해 5학기(총 1,200명 이상) 동안 수집되었다.

데이터 분석 결과, 자동 생성된 과제에 대한 학생 참여율은 전통적인 수작업 과제와 비교해 812% 상승했으며, 평균 점수 역시 35% 향상되었다. 특히 통계 과목에서는 무작위 데이터 셋을 활용한 실습이 실제 연구 설계 능력 향상에 기여한 것으로 보인다. 그러나 일부 학생은 무작위 문제의 난이도 변동성을 불만으로 제기했으며, 이는 문제 풀 생성 시 난이도 조절 파라미터를 세밀히 설정해야 함을 시사한다.

운영 측면에서 가장 큰 교훈은 두 가지이다. 첫째, 자동화 파이프라인을 구축할 때 IT 부서와의 사전 협의가 필수적이다. Respondus 와 Blackboard 사이의 파일 형식 호환성을 검증하고, 업로드 자동화 스크립트를 정기적으로 유지보수해야 한다. 둘째, 교수진이 직접 문제 생성 로직을 이해하고 수정할 수 있는 교육이 필요하다. Mathematica 코드를 공개하고, 기본 템플릿을 제공함으로써 비전공 교수도 손쉽게 새로운 문제 풀을 만들 수 있었다.

결론적으로, 본 연구는 오픈소스 기반 자동 과제 생성과 기존 상용 LMS 와의 효율적 연동이 가능함을 실증하였다. 향후 연구에서는 적응형 학습 알고리즘을 도입해 학생별 난이도 조절을 자동화하고, 다른 학과·전공에도 확장 적용하는 방안을 모색한다.