LLM으로 시험 문항 난이도 추정 브라질 ENEM 데이터셋 벤치마크

초록

본 논문은 브라질 고등학교 국가시험 ENEM의 1,031개 문항에 대해 10개의 최신 대형 언어모델(LLM)의 난이도 추정 능력을 IRT 기반 난이도 파라미터와 비교한다. 절대 오차, 순위 상관관계, 시각 정보 손실, 그리고 학생 배경 프롬프트에 대한 모델의 플라스티시티를 평가한 결과, 최고 모델조차 평균 난이도를 과소평가하고 순위 상관은 중간 수준이며, 시각 정보를 포함한 항목에서 성능이 크게 떨어진다. 또한 인구통계학적 힌트를 제공해도 추정값 변화가 일관되지 않아 현재는 개인화된 난이도 추정에 한계가 있음을 지적한다. 저자는 LLM을 사전 검증 단계의 보조 도구로 활용하고, 사후 보정과 프롬프트 설계가 필요하다고 제안한다.

상세 분석

이 연구는 LLM을 시험 문항 난이도 추정기에 적용할 때 발생할 수 있는 여러 위험요소를 체계적으로 검증한다. 첫째, 난이도 파라미터 bᵢ를 110 스케일로 변환한 IRT 기준값을 정답으로 삼아 절대 오차(MAE)와 순위 상관계수(Spearman)를 동시에 측정함으로써 모델이 평균 난이도를 맞추는 것과 실제 난이도 순서를 보존하는 것 사이의 차이를 명확히 구분한다. 둘째, 10개의 모델(오픈소스 Llama‑2, Mistral, Falcon 등과 상용 GPT‑4o, Gemini‑Flash 등)을 8가지 프롬프트 템플릿과 한 단계의 프롬프트 진화(계획‑실행 분리) 전략으로 평가한다. 프롬프트 설계 실험에서는 ‘직접 추정’, ‘체인 오브 사고’, ‘플랜 앤 솔브’ 등 다양한 사고 유도 방식을 비교했으며, 다중 샘플링을 통한 자기 일관성 강화가 오차 감소에 기여함을 확인했다. 셋째, 시각 정보를 텍스트로 전사한 후 모델에 입력했을 때, 전사 오류와 시각적 단서 손실이 평균 MAE를 0.42에서 0.71로 악화시키는 등 시각‑텍스트 변환 비용이 크게 작용한다는 점을 정량화했다. 넷째, 학생 배경(예: 브라질·포르투갈·한국 등) 프롬프트를 삽입했을 때 모델별로 난이도 추정값이 0.20.6 포인트 정도 변동했지만, 이러한 변동이 실제 IRT에서 관찰되는 국가별 평균 차이와 일치하지 않아 플라스티시티가 제한적이며 편향 위험이 존재함을 보여준다. 마지막으로, 간단한 선형 보정 레이어(베이스라인 평균 보정 + 스케일 조정)를 적용하면 전반적인 절대 오차가 12% 정도 감소하지만 순위 상관도는 크게 변하지 않아 보정이 순위 유지에는 한계가 있다. 전체적으로 모델들은 난이도 추정에 유용한 신호를 제공하지만, 절대 정확도와 컨텍스트 민감도 면에서 아직 상용 시험 설계에 직접 투입하기엔 부족함을 강조한다.