불확실성 기반 지식추적 모델의 교육적 활용

초록

본 논문은 기존 지식추적(KT) 모델에 몬테카를로 드롭아웃(MC Dropout)을 적용해 예측 불확실성을 정량화하고, 높은 불확실성이 모델 오류와 강하게 연관됨을 입증한다. 네 가지 대표 KT 모델(DKT, SAKT, AKT, LLM‑기반) 모두에서 엔트로피와 표준편차를 활용한 불확실성 지표가 오답을 효과적으로 탐지하며, 이를 학습 플랫폼에서 학생의 오개념을 조기에 파악하고 맞춤형 피드백을 제공하는 데 활용할 수 있음을 보인다.

상세 분석

이 연구는 지식추적 분야에서 정확도 향상에만 초점을 맞추던 기존 흐름을 넘어, 모델 예측의 신뢰성을 평가하는 불확실성 추정 방법을 도입했다. 저자들은 네 가지 최신 KT 모델에 동일한 MC Dropout 구조를 삽입해 다중 전방 패스를 수행하고, 각 패스에서 얻은 클래스 확률을 평균해 전체 예측 분포를 만든 뒤, 셰넌 엔트로피와 표준편차를 불확실성 지표로 사용했다. 실험 결과, 엔트로피가 높은 경우가 모델이 틀린 예측을 할 확률이 현저히 높았으며, 특히 학생이 오답(잘못된 선택지)을 고른 상황에서 불확실성이 크게 증가했다. 이는 다중 클래스(정답 + 3개의 오답) 설정이 오답을 소수 클래스로 만들고, 모델이 어느 선택지를 예측해야 할지 혼란스러워한다는 점과 일치한다.

모델별 비교에서는 전체 엔트로피 평균값이 크게 차이나지 않았지만, 표준편차에서는 차이가 뚜렷했다. LSTM 기반 DKT는 가장 큰 표준편차를 보이며 예측이 불안정함을 나타냈고, 반면 LLM‑임베딩을 활용한 모델은 가장 낮은 표준편차와 일관된 엔트로피를 보여, 텍스트 기반 풍부한 표현이 불확실성을 감소시킨다는 점을 시사한다. 또한 질문 번호(퀴즈 진행 단계)와 불확실성의 관계를 분석했을 때, 초기 질문에서 DKT는 높은 엔트로피를 보였으며, 퀴즈가 진행될수록 주의 기반 모델은 표준편차가 감소하는 경향을 보여 학습이 진행될수록 모델이 점점 더 확신을 갖게 됨을 확인했다.

이러한 불확실성 신호는 교육 현장에서 실용적인 활용이 가능하다. 예를 들어, 불확실성이 높은 경우 자동 채점 대신 인간 교사에게 판단을 넘기거나, 학생에게 추가적인 연습 문제를 제공해 오개념을 보완하도록 설계할 수 있다. 또한, 불확실성 스파이크가 나타나는 시점에 난이도를 낮추고, 신뢰도가 회복되면 난이도를 다시 올리는 적응형 학습 경로 설계에도 적용 가능하다.

전반적으로 이 논문은 KT 모델에 베이지안 신경망 접근을 도입함으로써, 예측 정확도뿐 아니라 예측 신뢰도까지 동시에 고려하는 새로운 패러다임을 제시한다. 기존 모델에 큰 구조적 변화를 가하지 않고도 MC Dropout만으로 불확실성을 추정할 수 있다는 점은 실무 적용성을 크게 높인다.