시각·언어 모델로 시각화 문항 난이도 예측

초록

본 연구는 GPT‑4.1‑nano 기반의 멀티모달 LLM을 활용해 데이터 시각화 리터러시 테스트 문항의 난이도(정답 비율)를 예측한다. 텍스트만, 이미지만, 텍스트·이미지 결합 세 가지 입력 방식의 예측 성능을 비교한 결과, 멀티모달 모델이 MAE 0.224로 가장 정확했으며, 외부 테스트셋에서는 MSE 0.10805를 기록했다. 이는 LLM이 심리측정 분석과 자동 문항 개발에 활용될 수 있음을 시사한다.

상세 분석

이 논문은 데이터 시각화 리터러시(DVL) 평가 문항의 난이도를 예측하기 위해 최신 멀티모달 대형 언어 모델(LLM)인 GPT‑4.1‑nano를 적용한 실험적 연구이다. 데이터는 미국 성인 및 대학생을 대상으로 한 5개의 DVL 평가(예: WAN, GGR, BRBF, VLA​T, CALVI)에서 수집된 응답을 기반으로 하며, 각 문항은 이미지 URL, 질문 텍스트, 선택지 텍스트, 그리고 다수의 응답 기록을 포함한다. 연구자는 응답 데이터를 평균화해 ‘정답 비율(easiness)’을 산출하고, 이를 목표 변수로 설정하였다.

모델링은 세 가지 변형으로 설계되었다. 첫 번째는 텍스트 전용 모델로, 질문과 선택지 텍스트만을 입력받아 인지적 과제 유형, 질문 명료성, 옵션 수, 정답 텍스트의 난이도 등을 LLM에게 분석하도록 프롬프트를 설계했다. 두 번째는 비전 전용 모델로, 이미지 파일만을 제공하고 차트 유형, 축 라벨 가독성, 데이터 인코딩 명료성, 시각적 복잡도 등을 평가하도록 지시하였다. 세 번째가 멀티모달 모델로, 텍스트와 이미지를 동시에 입력해 시각‑텍스트 상호작용을 고려한 종합적인 난이도 추정을 수행한다. 각 모델은 Pydantic 기반의 JSON 스키마를 통해 일관된 출력 형식을 강제했으며, OpenAI API 호출을 통해 자동화된 파이프라인을 구축하였다.

성능 평가는 검증용 서브셋(N=154)에서 평균 절대 오차(MAE)를 사용했으며, 비전 전용이 0.2819, 텍스트 전용이 0.3382, 멀티모달이 0.2239로 나타났다. 멀티모달 모델이 가장 낮은 MAE를 기록한 것은 시각적 복잡성과 텍스트적 요구사항이 상호 보완적으로 난이도에 영향을 미친다는 가설을 실증적으로 뒷받침한다. 외부 테스트셋(46문항)에서는 SVG 형식 6문항을 0.5의 기본값으로 대체했음에도 불구하고 전체 MSE가 0.10805로 비교적 낮은 수준을 유지했다. 이는 모델이 새로운 문항에 대한 일반화 능력을 어느 정도 확보했음을 의미한다.

제한점으로는 SVG 파일을 직접 처리하지 못한 점, 단일 LLM(GPT‑4.1‑nano)에 의존한 점, 검증 서브셋 규모가 작아 통계적 신뢰도가 제한적이라는 점을 들었다. 향후 연구에서는 이미지 포맷 변환 파이프라인 구축, 다양한 멀티모달 모델(예: Flamingo, CLIP 기반) 비교, 베이지안 추정 등을 통해 예측 불확실성을 제공하고, 전통적인 아이템 반응 이론(IRT) 모델과의 성능 비교를 수행할 필요가 있다.

이 연구는 LLM 기반 자동 난이도 추정이 교육 평가 설계와 시각화 디자인 가이드라인 개발에 실용적인 도구가 될 가능성을 제시한다. 특히, 시각‑텍스트 상호작용을 정량화함으로써 어떤 차트 특성이 학습자에게 더 큰 인지 부하를 주는지, 질문 서술이 시각적 정보를 어떻게 보완하거나 방해하는지를 분석할 수 있다. 이는 교육자와 시각화 디자이너가 난이도 조절과 학습 효과를 동시에 최적화하는 설계 전략을 수립하는 데 기여할 것이다.