손글씨 수학 작업으로 학생 인지 기술 진단하기 LLM 벤치마크

초록

본 논문은 손글씨 수학 풀이를 이용해 학생의 인지 기술을 진단하는 새로운 벤치마크 MathCog를 제시하고, 18개의 최신 대형 언어 모델(LLM)을 평가한다. 639개의 학생 응답(110문제)에 대해 교사가 TIMSS 기반 체크리스트와 증거 강도(Evident/ Vague)를 부여한 3,036개의 진단 항목을 활용해 모델의 정확도와 F1 점수를 측정했으며, 모든 모델이 F1 < 0.5 수준으로 저조함을 확인했다. 특히 증거가 모호한(Vague) 경우 성능이 급격히 하락하고, 모델이 증거를 과대평가하거나 허위 증거를 생성하는 오류 패턴이 두드러졌다. 연구는 증거 인식과 교사‑인‑루프 설계의 필요성을 강조한다.

상세 분석

본 연구는 교육 현장에서 손글씨 수학 작업이 제공하는 중간 추론 과정을 자동으로 해석하고, 이를 기반으로 학생의 인지 기술을 진단하려는 시도를 체계적으로 검증한다. 먼저, 기존 교육 평가 프레임워크인 TIMSS의 ‘알고리즘(Knowing)’, ‘적용(Applying)’, ‘추론(Reasoning)’ 중 ‘알고리즘’과 ‘적용’에 초점을 맞춘 15개 인지 기술 체크리스트를 설계하였다. 체크리스트는 교사 15명과 교육 전문가 5명이 반복 검토·수정한 뒤, 639개의 실제 학생 응답에 적용돼 각 기술에 대한 ‘Yes/No’ 판단과 증거 강도(Evident/Vague)를 라벨링했다. 라벨링 과정에서 70 % 이상의 교사 간 합의를 보인 사례만을 최종 데이터셋에 포함시켜, 인간 전문가 간의 신뢰성을 확보하였다.

다음으로 18개의 LLM을 선정했는데, 여기에는 멀티모달 입력을 지원하는 모델(예: Claude‑3.5‑Sonnet‑img, GPT‑4o‑img), 체인‑오브‑생각(Chain‑of‑Thought) 프롬프트를 활용한 추론 강화 모델, 그리고 파라미터 규모에 따라 대·중·소형 모델이 포함된다. 모든 모델은 온도 0으로 고정하고, OCR 전처리된 텍스트와 LaTeX 형식 수식, 필요 시 이미지 입력을 함께 제공했다. 프롬프트는 ‘문제·학생 응답·체크리스트’를 제시하고, 각 체크 항목에 대해 증거를 재진술·식별·설명·최종 판정(Yes/No·Evident/Vague) 순으로 진행하도록 설계되었다.

평가 지표는 매크로 F1, 정확도 외에 두 개의 증거‑특화 메트릭을 도입했다. ‘Evidence Over‑Attribution(OverAttr)’은 실제 Vague인 경우 모델이 Evident로 과대표기하는 비율을, ‘Evidence False‑Attribution(FalseAttr)’은 잘못된 기술 판정에 대해 Evident를 부여하는 비율을 측정한다. 결과는 모든 모델이 전반적으로 낮은 F1(<0.5)을 기록했으며, 특히 Vague 증거 상황에서 OverAttr가 0.6~0.8 수준으로 매우 높았다. 이는 모델이 불충분한 근거를 과신하거나, 인간 교사의 판단을 모방하려다 오히려 증거를 창조하는 ‘hallucination’ 현상이 빈번함을 의미한다. 또한, 작은 모델일수록 FalseAttr가 크게 나타났으며, 대형 모델도 여전히 0.5 ~ 0.7 수준의 OverAttr를 보였다.

오류 분석에서는 세 가지 주요 패턴이 도출되었다. 첫째, ‘증거 과대해석’으로, 미세한 수식 변형이나 서술만으로도 Evident를 부여하는 경우가 많았다. 둘째, ‘과도한 추론’으로, 모델이 학생의 제한된 단계만을 보고 전체 해결 과정을 추론해 Yes 판정을 내렸다. 셋째, ‘허위 증거 생성’으로, 실제로는 존재하지 않는 단계나 계산 과정을 만들어내어 설명에 삽입했다. 이러한 오류는 모델이 텍스트·수식 이해와 동시에 교육적 판단 기준을 내재화하는 데 한계가 있음을 보여준다.

연구는 두 가지 실용적 함의를 제시한다. 첫째, LLM을 교육 현장에 직접 적용하기보다, 교사가 모델의 초안 판정을 검토·수정하는 ‘teacher‑in‑the‑loop’ 워크플로우가 필요하다. 둘째, 모델이 증거 강도를 정확히 판단하도록 훈련 데이터를 ‘증거 명시적 라벨링’과 ‘증거 추론 단계’를 포함한 형태로 확장하고, 멀티모달(이미지+텍스트)와 메타‑학습 기법을 결합해 증거 인식 능력을 강화해야 한다. 전반적으로 본 논문은 손글씨 기반 인지 진단이라는 새로운 과제에 대한 최초의 대규모 벤치마크와, 현재 LLM이 직면한 근본적인 한계를 명확히 제시함으로써 향후 연구 방향을 제시한다.