LLM 기반 가상 학생 응답으로 IRT 난이도 추정

초록

본 논문은 대규모 수학 문제 데이터와 LLM이 추출한 교육학적 특성을 활용해, 실제 학생 응답 없이도 IRT 난이도 파라미터를 예측하는 두 단계 모델을 제안한다. 질문 텍스트와 LLM‑생성 Pedagogical Feature를 결합한 신경망이 가상 학생의 정답 확률을 예측하고, 이를 1PL IRT 모델에 적용해 난이도 값을 추정한다. 250 000여 개 응답을 기준으로 구축한 실험에서 보이지 않은 문제에 대해 Pearson 상관계수 0.78을 달성하였다.

상세 분석

이 연구는 기존 텍스트 기반 난이도 예측이 직면한 두 가지 핵심 한계를 동시에 해결한다. 첫째, 대부분의 기존 연구가 질문 텍스트만을 이용해 난이도를 직접 회귀하는 방식에 머물렀던 반면, 저자는 학생‑문제 상호작용을 모사하는 “시뮬레이션 기반” 접근을 채택하였다. 구체적으로, 학생별 임베딩과 질문‑옵션 특성을 입력으로 하는 신경망이 각 학생‑문제 쌍에 대해 정답 확률을 출력하고, 이 확률 매트릭스를 1‑Parameter Logistic (1PL) IRT 모델에 적용해 난이도 파라미터를 추정한다. 이는 실제 시험에서 난이도가 학생 응답 패턴을 통해 도출되는 과정을 그대로 재현함으로써, 모델이 제공하는 난이도 추정값이 통계적 타당성을 갖게 만든다.

둘째, LLM을 활용한 교육학적 특성 추출을 기존의 어휘·구문·통계적 특징에 추가하였다. 해결 단계 수, 인지 복잡도, 잠재 오개념 등은 인간 교사가 질문을 평가할 때 직관적으로 고려하는 요소이며, LLM이 자동으로 정량화한다는 점에서 혁신적이다. 이러한 LLM‑추출 특성은 ModernBERT 기반 텍스트 임베딩과 결합돼, 질문의 의미적 풍부함을 보완한다. 실험 결과, LLM 특성을 포함한 전체 피처 집합이 제거했을 때보다 Pearson r이 0.07 정도 상승했으며, RMSE도 유의미하게 감소했다.

데이터는 칠레의 적응형 수학 학습 플랫폼 Zapien에서 수집된 4,696개 고유 문제와 251,851건의 학생 응답을 사용한다. 질문은 스페인어에서 영어로 번역한 뒤 ModernBERT‑embed‑base 로 768‑차원 임베딩을 생성했으며, 추가적인 언어·구조·옵션 특성(단어 수, 수식 개수 등)과 LLM‑생성 Pedagogical Feature를 1,200차원 정도의 피처 벡터로 결합했다. 학생 임베딩은 학습 과정에서 공동 최적화되었으며, 이는 학생 간 능력 차이를 모델이 학습하도록 돕는다.

모델 학습은 70 %의 문제를 훈련, 20 %를 검증, 10 %를 보류 테스트 셋으로 stratified sampling 하여 진행했다. 1PL IRT 파라미터는 전체 데이터에 대해 최대우도 추정으로 얻은 “ground truth”와 비교했으며, 보류 테스트 셋에서 Pearson r = 0.78, RMSE ≈ 0.42를 기록했다. 또한, 난이도 외에 차별도(Discrimination)와 추정된 응답 패턴도 제공해, 교사와 평가 설계자가 문제의 품질을 다각도로 평가할 수 있게 한다.

한계점으로는 (1) LLM 기반 특성 추출이 영어 번역에 의존한다는 점, (2) 1PL 모델만 사용해 차별도와 추측 파라미터를 충분히 활용하지 못했다는 점, (3) 학생 임베딩이 실제 학생 인구통계와 연결되지 않아 해석이 제한적이라는 점을 들었다. 향후 연구에서는 다중 파라미터 IRT 모델 적용, 다국어 LLM 활용, 그리고 실제 교사 평가와의 비교를 통해 모델의 외적 타당성을 검증할 계획이다.

전반적으로, 이 논문은 “학생 응답 시뮬레이션 → IRT 파라미터 추정”이라는 새로운 파이프라인을 제시함으로써, 사전 테스트 비용을 크게 절감하고, LLM이 제공하는 교육학적 인사이트를 정량적 평가 모델에 효과적으로 통합할 수 있음을 입증했다.