기초학습 추적과 교육적 근거를 위한 대규모 언어 모델 데이터셋

초록

FoundationalASSIST는 5,000명의 학생이 푼 1.7백만 개의 수학 문제를 포함한 영어 교육 데이터셋으로, 질문 텍스트, 학생의 실제 답안, 오답 선택 기록, 그리고 Common Core 표준과의 정렬 정보를 제공한다. 이를 통해 지식 추적과 교육적 근거(난이도·변별도·오답 분석) 두 축에서 LLM의 능력을 평가했으며, 현재 모델들은 기본적인 정답 예측조차도 거의 무작위 수준에 머물러 있음을 보여준다.

상세 분석

본 논문은 대형 언어 모델(LLM)이 학생 학습을 이해하고 지원할 수 있는지 검증하기 위해, 기존 교육 데이터셋이 갖는 ‘식별자·이진 정답’ 한계를 극복한 새로운 데이터셋 FoundationalASSIST를 제시한다. 데이터셋은 3,400개의 수학 문제에 대한 전체 텍스트와 1.7 백만 건의 학생–문제 상호작용을 포함한다. 특히 다중 선택형 문제에서는 학생이 선택한 구체적 오답을, 서술형·채우기형 문제에서는 학생이 직접 입력한 답안을 모두 기록함으로써, 오답 패턴과 개념 오해를 정밀하게 추적할 수 있다. 또한 모든 문제는 Common Core State Standards와 1‑1 매핑되어 있어, 학년·학습 목표 수준을 명시적으로 활용할 수 있다.

평가 설계는 두 가지 축으로 나뉜다. 첫 번째는 Knowledge Tracing(KT)으로, 모델이 (1) 학생이 해당 문제를 맞출 확률을 예측하고, (2) 학생이 실제 제시할 정확한 답을 생성하도록 요구한다. 두 번째는 Pedagogical Grounding(PG)으로, 모델이 (a) 두 문제 중 어느 것이 난이도가 높은가, (b) 어느 문제가 변별도가 높은가, (c) 어떤 오답이 가장 많이 선택되는가, (d) 어떤 오답이 거의 선택되지 않는가를 판단한다. 총 6개의 세부 과제가 정의되었다.

실험에 사용된 LLM은 최신 상용 모델인 GPT‑OSS‑120B, Llama‑3.3‑70B‑Instruct, Qwen3‑Next‑80B‑Instruct, Qwen3‑Next‑80B‑Thinking 네 종류이며, 동일한 프롬프트와 최소한의 사전 처리만 적용하였다. 결과는 다음과 같다. KT에서는 ‘모두 정답이라고 가정’하는 트리비얼 베이스라인이 51.3 % 정확도를 기록했으며, 가장 좋은 모델도 5 %p 정도만 상회했다. 특히 모델들은 정답을 맞출 때는 높은 정확도(예: Llama‑3.3‑70B는 85.4 %), 오답을 맞출 때는 12 % 수준으로 편향되어 있어, 학습이 어려운 학생을 식별하는 데 실패한다.

PG에서는 난이도 비교에서 최대 80 % 정확도를 달성했지만, 변별도 판단에서는 모든 모델이 무작위 이하(예: 46 % 이하)로 떨어졌다. 이는 LLM이 ‘어려운 문제’와 ‘쉽게 구분되는 문제’를 구분하는 교육 측정 이론을 내재하고 있지 않음을 의미한다. 오답 선택 예측에서도 ‘가장 많이 선택되는 오답’은 47.9 % 정확도로 베이스라인(35.8 %)을 넘었지만, ‘거의 선택되지 않는 오답’은 15 %p 이하로 하락했다. Qwen3‑Next‑80B‑Thinking 변형은 명시적 추론 체인을 생성했을 때 변별도 판단에서 가장 높은 46.9 %를 기록했지만, 오답 예측에서는 가장 낮은 20.5 %에 머물렀다.

이러한 결과는 LLM이 자연어 이해와 문제 풀이 능력은 어느 정도 보유하고 있으나, 학생의 인지 상태와 교육 측정 특성을 모델링하는 데는 근본적인 한계가 있음을 보여준다. 데이터셋 자체는 풍부한 텍스트와 정답·오답 정보를 제공함으로써, 향후 파인튜닝, 프롬프트 엔지니어링, 멀티태스크 학습 등 다양한 접근법을 시험할 수 있는 기반을 마련한다. 또한, 오답·변별도와 같은 교육 심리학적 메트릭을 직접 예측하도록 설계된 벤치마크는 기존의 ID‑기반 KT 연구와 차별화된다.

논문의 한계로는 (1) 데이터가 미국 Common Core에 국한돼 있어 문화·교육 체계 차이에 대한 일반화가 어려울 수 있다, (2) 현재 실험이 사전 훈련된 모델에 제한적 프롬프트만 적용했기 때문에, 파인튜닝이나 도메인‑특화 어댑터가 성능을 크게 개선할 가능성을 배제하지 않는다, (3) 평가가 주로 정확도 기반이며, 학습자‑모델 상호작용 시나리오(예: 실시간 힌트 제공)와 같은 동적 평가가 부족하다. 향후 연구에서는 이러한 제약을 보완하고, 모델이 학생의 오개념을 교정하거나 맞춤형 피드백을 생성하는 실제 교육 환경에 적용될 수 있는지 검증할 필요가 있다.

결론적으로, FoundationalASSIST는 LLM 기반 교육 연구에 필요한 텍스트‑중심, 응답‑중심, 표준‑정렬 데이터의 결합을 최초로 제공함으로써, 지식 추적과 교육적 근거 양쪽에서 모델 능력을 체계적으로 측정할 수 있는 중요한 인프라를 구축한다. 현재 모델들의 성능 격차는 LLM이 교육 현장에 바로 투입되기엔 아직 멀었으며, 데이터셋을 활용한 지속적인 모델 개발과 평가가 필수적이다.