교육 설명 위험 평가를 위한 역할 기반 데이터셋 EduEVAL‑DB

초록

**
EduEVAL‑DB는 K‑12 과학·언어·사회 과목의 139개 질문에 대해 인간 교사와 6가지 LLM‑시뮬레이션 교사 역할이 만든 854개의 설명을 수집하고, 사실성·깊이·관련성·학생 적합성·이념 편향 5가지 위험 차원을 이진 라벨링한 최초의 역할 기반 교육 데이터셋이다. 제시된 위험 루브릭을 기반으로 Gemini 2.5 Pro와 Llama 3.1 8B 모델을 평가·미세조정하여, 소비자 하드웨어에서도 활용 가능한 교육용 위험 탐지 모델의 가능성을 실증한다.

**

상세 분석

**
본 논문은 교육용 LLM의 위험성을 체계적으로 탐지·완화하기 위한 데이터 인프라와 평가 프레임워크를 동시에 제시한다는 점에서 의미가 크다. 첫째, 기존 교육 데이터베이스가 질문‑정답‑설명 수준에 머무는 반면, EduEVAL‑DB는 동일 질문에 대해 인간 교사와 여섯 가지 교사 역할(예: 자신감 있는 부정확 교사, 과잉 고급·민감 교사 등)로 생성된 설명을 모두 포함한다. 이는 “교사 스타일”이라는 변수를 명시적으로 모델링함으로써, LLM이 특정 교사 페르소나를 모방하거나 위험을 증폭시키는 상황을 정량화할 수 있게 한다.

둘째, 위험 루브릭은 교육학 표준(Instructional Core, ZPD, 인지 부하 이론 등)과 AI 정렬 원칙(H1‑H3)을 연결해 다차원 위험을 정의한다. 사실성 위험은 ‘에피스테믹 리스크’로, 학습자에게 잘못된 개념을 고착시킬 위험을 강조한다. 설명 깊이·완전성은 ‘페다고지컬 리스크’로, 단순 정답 제공이 아닌 원인·과정 제시를 요구한다. 초점·관련성은 인지 부하 이론에 기반해 불필요한 정보가 작업 기억을 차지하는 위험을 측정한다. 학생 수준 적합성은 ZPD와 연계해 언어·용어 난이도가 목표 학년과 맞는지를 판단한다. 마지막으로 이념 편향은 ‘노멀리티 리스크’로, 교육 내용이 사회적 편견이나 문화적 억압을 재생산하지 않는지를 검증한다.

셋째, 라벨링 과정은 ‘반자동 + 전문가 검토’ 방식으로, LLM이 사전 라벨을 제안하고 교사가 최종 확인한다. 이는 라벨 품질을 확보하면서도 대규모 라벨링 비용을 절감한다는 실용적 장점을 가진다. 데이터 통계에 따르면 사실성·깊이·관련성·학생 적합성 위험은 각각 139건(≈16%)이 양성으로 나타났으며, 이념 편향은 20건(≈2%)에 불과해 현재 교육 콘텐츠에서 상대적으로 드물지만, 사회적 민감도 측면에서 중요한 검증 포인트임을 시사한다.

넷째, 실험에서는 최신 교육 특화 모델(Gemini 2.5 Pro)과 경량 Llama 3.1 8B을 위험 탐지 기준으로 벤치마크했다. Gemini는 전반적으로 높은 정확도를 보였지만, 특히 이념 편향 탐지에서 낮은 재현율을 보이며 대형 모델이라도 편향 감지는 어려움을 드러냈다. 반면 Llama 3.1 8B은 미세조정 후 사실성·깊이·관련성에서 평균 8%p 향상을 기록했으며, 소비자 GPU(예: RTX 3080)에서도 실시간 추론이 가능해 실제 교실·학습 플랫폼에 적용 가능성을 보여준다.

마지막으로, 본 연구는 데이터셋 공개(GitHub)와 역할 프롬프트 설계 가이드를 제공함으로써, 향후 교육용 LLM 개발·평가 생태계에 기여한다. 다만, 역할 수가 제한적이고, 문화·언어 다양성이 부족하다는 한계가 남아 있어, 다국어·다문화 교사 역할 확장과 장기 학습 효과 검증이 향후 과제로 남는다.

**