시각화 해석 정확도 예측: 사용자 특성·문항 난이도·Rasch 점수 기반 모델

초록

본 연구는 1,083명의 참여자가 32개의 시각화 문항을 풀어 얻은 34,656개의 응답 데이터를 활용해, 개인이 특정 시각화를 올바르게 해석할지 사전에 예측하는 이진 분류 모델을 구축한다. 22개의 특징(사용자 프로필, 과거 성과, 전문가 난이도, Rasch 난이도 등)을 입력으로 로지스틱 회귀, 랜덤 포레스트, 다층 퍼셉트론을 비교했으며, 특징 선택을 적용한 로지스틱 회귀가 평균 AUC 0.72, Cohen κ 0.32로 가장 우수했다. 주요 예측 변수는 Rasch 난이도, 전문가 난이도, 이전 정답 비율(PercCorrect)이며, 사용자 프로필은 큰 영향을 주지 않았다. 결과는 시각화 리터러시 평가와 맞춤형 교육에 실시간 문항 선택을 적용할 가능성을 시사한다.

상세 분석

본 논문은 시각화 리터러시(Data Visualization Literacy, DVL) 평가에서 “같은 시각화라도 사람마다 해석 정확도가 다르다”는 점을 출발점으로, 사전 예측(P‑HIC, Predicting Human Interpretation Correctness) 모델을 설계하였다. 연구 설계는 크게 세 단계로 나뉜다. 첫째, 1,083명의 일반 성인(연령·성별·교육 수준 등 다양)에게 8개의 시각화(DV)를 제시하고, 각 시각화마다 이름(Name), 기능(Function), 내용(Content) 3가지 질문 유형을 포함한 4개의 문항을 풀게 하여 총 32개의 문항과 34,656개의 응답을 수집했다. 문항 난이도는 두 가지 방식으로 측정했는데, 전문가 7명이 매긴 평균 난이도(ExpertDifficulty)와 Rasch 모델을 이용해 추정한 RaschDifficulty가 핵심 변수다. 둘째, 22개의 특징을 세 그룹(사용자 프로필, 사용자 성과, 문항 난이도)으로 정의했다. 사용자 성과에는 현재 세션 이전에 정답을 맞힌 비율(PercCorrect)과 세션 번호(피로도 지표) 등이 포함된다. 셋째, 로지스틱 회귀(LR), 랜덤 포레스트(RF), 다층 퍼셉트론(MLP) 세 가지 머신러닝 알고리즘을 특징 선택(SelectKBest) 유무에 따라 6가지 조합으로 학습시켰다. 모델 평가는 각 문항별 데이터셋을 대상으로 10회 반복 10‑fold 교차검증을 수행했으며, 평가지표는 클래스 불균형에 강인한 AUC와 chance‑corrected Cohen’s κ를 사용했다.

실험 결과는 로지스틱 회귀에 특징 선택을 적용한 모델이 가장 일관된 성능을 보였으며, 평균 AUC 0.72와 κ 0.32는 ‘보통 수준’의 예측력을 의미한다. 특히 RaschDifficulty가 가장 높은 중요도를 차지했으며, 그 뒤를 전문가 난이도와 PercCorrect이 잇는다. 흥미롭게도 사용자 프로필(연령, 성별, 교육 수준 등)은 예측에 거의 기여하지 않았으며, 이는 DVL이 전통적인 인구통계적 변수보다 특정 과제 경험이나 이전 성과에 더 민감함을 시사한다. 또한 세션이 진행될수록 PercCorrect의 중요도가 상승했는데, 이는 피로 혹은 학습 효과가 모델에 반영될 수 있음을 보여준다.

이 논문의 주요 기여는 (1) 시각화 해석 정확도를 사전 예측하는 최초의 정량적 프레임워크를 제시한 점, (2) Rasch 모델을 활용해 문항 난이도를 객관적으로 추정하고 이를 예측 변수로 활용한 점, (3) 특징 선택을 통해 불필요한 프로필 정보를 배제하고 핵심 변수만으로도 실용적인 예측이 가능함을 증명한 점이다. 한계점으로는 데이터가 영어권, 대학 수준의 참가자에 국한됐으며, 시각화 유형이 제한적(주로 바 차트·라인 차트 등)하고, 눈동자 추적·시각적 작업 부하와 같은 미세 행동 데이터가 포함되지 않았다는 점이다. 향후 연구에서는 다양한 문화·언어 집단, 복합적인 시각화(네트워크·지도 등), 실시간 인터랙션 로그를 결합해 모델을 확장하고, 적응형 평가 시스템에 통합해 학습 효율을 높이는 방안을 모색할 수 있다.