새로운 학습자를 위한 지식 추적의 콜드 스타트 문제 연구

초록

본 논문은 과거 학생들의 상호작용 데이터만으로 모델을 학습하고, 전혀 보지 못한 새로운 학생에게만 예측을 수행함으로써 지식 추적(KT) 모델의 콜드 스타트 문제를 실험적으로 평가한다. DKT, DKVMN, SAKT 세 모델을 ASSISTments 2009·2015·2017 데이터셋에 적용해 초기 정확도와 상호작용이 늘어날 때의 성능 변화를 분석하였다. 결과는 모든 모델이 초기에는 낮은 정확도를 보이지만, 특히 DKVMN이 적은 데이터에서도 빠르게 정확도를 끌어올리는 반면, SAKT는 초기에는 우수하지만 장기 상호작용에서는 정체 현상을 보인다는 점을 제시한다.

상세 분석

이 연구는 기존 KT 연구가 동일 학생의 초기 응답을 학습·검증에 활용한 것과 달리, 완전히 새로운 학습자를 대상으로만 테스트하는 ‘실제 배포 환경’에 가까운 평가 프레임워크를 제시한다는 점에서 의의가 크다. 데이터 분할 방식은 각 ASSISTments 데이터셋에서 무작위로 5개의 10명 학생 집합을 선택하고, 이들의 모든 상호작용을 테스트 셋으로 전용함으로써 훈련 데이터와 완전한 격리를 보장한다. 이는 모델이 학생별 개인화된 패턴을 과도하게 학습하는 위험을 최소화하고, 일반화 능력을 순수하게 측정한다는 장점을 가진다.

모델 선택 측면에서 DKT는 LSTM 기반 순환 구조로 장기 의존성을 학습하지만, 메모리 용량과 초기 데이터 부족에 민감한 한계를 가지고 있다. DKVMN은 키‑값 메모리 구조를 도입해 개념별 마스터리 레벨을 별도로 저장·업데이트함으로써, 제한된 초기 상호작용에서도 개념 수준의 추론이 가능하도록 설계되었다. SAKT는 Transformer‑유사 self‑attention 메커니즘을 활용해 과거 모든 응답을 가중치 기반으로 동적으로 참조한다는 점에서, 초기 몇 개의 질문만으로도 중요한 패턴을 포착할 수 있다는 기대가 있다.

실험 결과는 이러한 설계 차이를 명확히 드러낸다. DKT는 320문제 구간에서 정확도가 서서히 상승해 0.75 수준에 도달하지만, 초기 정확도는 0.45 수준으로 낮다. 이는 순환 구조가 충분한 시계열 정보를 필요로 함을 의미한다. DKVMN은 초기 정확도가 0.550.60 정도로 DKT보다 앞서며, 10문제 이후 급격히 0.75 이상으로 상승한다. 메모리 기반 접근이 적은 데이터에서도 개념 추정을 가능하게 함을 보여준다. SAKT는 35문제 구간에서 0.600.65의 높은 초기 정확도를 기록하지만, 15문제 이후 정확도 상승이 완만해지며 일부 데이터셋에서는 정체 현상이 나타난다. 이는 self‑attention이 초기 패턴 탐지에는 강하지만, 장기 의존성을 지속적으로 유지하는 데는 한계가 있음을 시사한다.

한계점으로는 테스트 셋이 10명 학생으로 제한된 점, 그리고 모델 하이퍼파라미터 튜닝이 동일하게 적용되지 않아 최적화 수준 차이가 결과에 영향을 미쳤을 가능성이 있다. 또한, 학생 특성(예: 사전 지식, 학습 스타일)과 같은 메타 데이터를 활용하지 않아, 실제 ITS 환경에서 메타 정보를 결합한 하이브리드 접근법의 효과를 검증하지 못했다.

향후 연구 방향은 제안된 평가 프레임워크 위에 메타 학습, 전이 학습, 연합 학습(Federated Learning) 등을 도입해 ‘few‑shot’ 혹은 ‘zero‑shot’ 상황에서도 빠르게 적응할 수 있는 모델을 설계하는 것이다. 특히, DKVMN의 메모리 구조와 SAKT의 attention을 결합한 하이브리드 아키텍처가 초기 정확도와 장기 적응성을 동시에 만족시킬 수 있을 것으로 기대된다.