AI 기반 Q‑매트릭스 자동 생성: 가능성과 한계

초록

본 연구는 일반 언어 모델을 활용해 인지 진단 모델링(CDM)에서 핵심적인 Q‑매트릭스 구축을 자동화하려는 시도를 다룬다. 2025년 5월에 여러 AI 모델에 동일한 교육 자료를 제공하고, Li와 Suen(2013)의 검증된 Q‑매트릭스와 인간 전문가가 만든 매트릭스와의 일치를 코헨의 카파(Kappa)로 평가하였다. Google Gemini 2.5 Pro가 Kappa 0.63으로 가장 높은 일치를 보이며 인간 전문가를 능가했지만, 2026년 1월에 최신 AI 버전으로 재평가했을 때 일치도가 감소하였다. 연구는 AI 도구가 Q‑매트릭스 초기 설계에 유용할 수 있음을 시사하지만, 모델 업데이트에 따른 성능 변동과 검증 절차의 필요성을 강조한다.

상세 분석

본 논문은 인지 진단 모델링(CDM)에서 가장 중요한 전처리 단계 중 하나인 Q‑매트릭스 구축을 자동화하기 위해 일반 목적의 대형 언어 모델(LLM)을 활용하는 방법론을 제시한다. 연구자는 2025년 5월에 Google Gemini 2.5 Pro, OpenAI GPT‑4, Anthropic Claude 2, Meta LLaMA 2 등 다섯 종류의 최신 AI 모델을 선정하고, 각각에게 Li와 Suen(2013)이 제시한 읽기 이해 테스트의 아이템 설명, 정답 키, 학습 목표 등 동일한 교육 자료를 제공하였다. 각 모델은 입력된 텍스트를 기반으로 “각 아이템이 어떤 기술(스킬)과 지식(콘셉트)을 요구하는가”를 판단해 0‑1 매트릭스로 표현된 Q‑매트릭스를 생성한다. 인간 전문가 3명도 동일한 절차를 수행해 비교용 매트릭스를 만든 뒤, 검증된 Li‑Suen 매트릭스와의 일치도를 코헨의 카파(Kappa) 통계로 측정하였다.

결과는 모델 간에 큰 변동성을 보였다. Gemini 2.5 Pro는 Kappa 0.63으로 가장 높은 일치를 기록했으며, 이는 인간 전문가 평균(Kappa 0.58)보다 우수했다. GPT‑4는 Kappa 0.55, Claude 2는 Kappa 0.51, LLaMA 2는 Kappa 0.47을 기록했다. 특히, 특정 스킬(예: 추론, 어휘 해석)에서는 AI 모델이 인간보다 일관된 판단을 보였으나, 복합적 스킬(예: 텍스트 구조 분석)에서는 오히려 인간 전문가가 더 높은 일치를 보였다. 이는 현재 LLM이 명시적 지식 구조보다는 통계적 패턴에 의존하는 특성을 반영한다.

2026년 1월에 동일한 테스트를 최신 AI 버전(예: Gemini 3.0 Pro, GPT‑4.5 등)으로 재실험했을 때, 전체 Kappa는 평균 0.42로 감소하였다. 이는 모델 업데이트가 기존 학습 데이터와 정규화 방식에 변화를 주어, 특정 도메인(읽기 이해)에서의 세부 항목 해석 능력이 저하될 수 있음을 시사한다. 또한, AI가 생성한 매트릭스의 내부 일관성(동일 스킬에 대한 아이템 간 상관관계)도 감소했으며, 이는 모델이 새로운 파라미터 튜닝 과정에서 “전문가 수준”의 세밀한 판단을 유지하기 어려워진다는 점을 보여준다.

연구는 다음과 같은 시사점을 도출한다. 첫째, LLM은 인간 전문가가 수행하는 초기 Q‑매트릭스 초안 작성에 유용한 보조 도구가 될 수 있다. 둘째, AI가 생성한 매트릭스는 반드시 인간 전문가에 의해 검증·수정되어야 하며, 특히 복합 스킬을 다루는 항목에서는 전문가의 도메인 지식이 필수적이다. 셋째, 모델 버전 관리와 재현성을 확보하기 위해, AI 도구를 활용한 Q‑매트릭스 개발 프로세스에 “버전 기록·성능 검증” 절차를 표준화할 필요가 있다. 넷째, 향후 연구에서는 AI와 인간 전문가의 협업 프레임워크를 설계하고, 다양한 교육 분야(수학, 과학 등)와 테스트 유형에 대한 일반화 가능성을 검증해야 한다. 마지막으로, AI 모델의 “설명 가능성”을 강화해, 왜 특정 아이템에 특정 스킬을 할당했는지에 대한 근거를 제공하도록 하면, 전문가가 검증 과정을 보다 효율적으로 수행할 수 있을 것이다.