TeachBench 교과과정 기반 LLM 교사 능력 평가 프레임워크

초록

TeachBench는 교과과정에서 추출한 지식 트리를 활용해 LLM을 교사 역할로 시뮬레이션하고, 다중 턴 대화 후 학생 LLM의 성적 향상을 측정함으로써 모델의 교육 능력을 정량화한다. 가오카오 시험 데이터를 이용해 수학·물리·화학 등 여러 과목에 적용했으며, 모델마다 교육 효과가 크게 다르고, 예시 문제 제공이 반드시 성능 향상을 보장하지 않음을 확인했다.

상세 분석

본 논문은 기존의 “문제 해결 중심” 벤치마크와 달리, 교사‑학생 상호작용을 통한 학습 효과 증대를 직접 측정하는 새로운 평가 패러다임을 제시한다. 핵심은 교과과정(시러버스)에서 도출한 계층형 지식 트리를 기반으로, 각 질문을 해당 지식 경로에 매핑하고, 해당 지식점마다 난이도별 예시 문제를 자동 생성·검증한다는 점이다. 교사 LLM은 질문 자체가 아니라 지식점과 예시 문제만을 입력받아 설명, 힌트, 피드백을 제공하며, 학생 LLM은 사전·사후 테스트를 통해 정확도 변화를 기록한다.

기술적으로는 (1) Gemini‑3와 GPT‑5를 연계해 교과과정 텍스트를 구조화하고, (2) LLM 기반 질문 태거가 깊이 우선 탐색으로 다중 지식점을 추출, (3) Gemini‑2.5‑Pro 기반 질문 생성기가 난이도 1~3의 예시 문제를 자동 생성·웹 검색·검증 후 저장한다. 검증 단계에서는 정답·해설·난이도 일관성을 2차 LLM이 체크해 오류를 최소화한다.

실험 설계는 학생 LLM을 “중간 수준”으로 고정하고, 교사 LLM을 다양한 최신 모델(Qwen‑3‑235B‑A22B‑Instruct, Claude‑4, GPT‑5‑mini 등)로 교체해 동일한 교과과정·예시 문제 집합에 대해 다중 턴 대화를 수행한다. 교사 모델이 제공한 설명 횟수와 대화 턴 수를 기록하고, 사전·사후 테스트 정확도 차이를 “교육 효과 점수”로 정의한다.

주요 발견은 다음과 같다. 첫째, 모델마다 교육 효과가 과목별로 크게 차이난다. 수학에서는 Qwen‑3‑235B‑A22B‑Instruct가 7.63점 상승을 기록했으며, 이는 기존 문제 해결 성능과도 일정 부분 상관관계가 있음을 시사한다. 반면 물리·화학에서는 전반적인 점수 향상이 미미하거나 오히려 감소하는 경우가 있었다. 이는 복합적 개념 통합이 요구되는 과목에서 현재 LLM이 설명·추론을 충분히 연결하지 못한다는 한계를 보여준다.

둘째, 예시 문제 제공이 반드시 교육 효과를 높이지 않는다. 일부 모델은 예시 문제에 집중해 “예시 기반 오류 교정”으로 전환하고, 실제 지식점에 대한 일반화된 설명을 생략한다. 결과적으로 학생 LLM은 예시 문제에만 특화된 패턴을 학습해, 시험 문제에 적용했을 때 성능이 오히려 떨어지는 현상이 관찰되었다.

셋째, 대화 턴 수는 모델마다 차이가 크다. Claude‑4와 같은 모델은 평균 12턴 이상의 긴 대화를 필요로 하는 반면, Qwen‑3‑235B‑A22B‑Instruct는 6~8턴으로 효율적인 교육 흐름을 유지한다. 이는 모델의 “교사 역할”에서 적절한 피드백 타이밍과 설명 깊이가 성능에 영향을 미친다는 점을 암시한다.

마지막으로, 교과과정 기반 지식 트리와 예시 문제라는 두 가지 제약을 두어 정보 누수를 방지함으로써, 기존 시험 데이터 재사용이 가능하고, 평가 결과의 재현성을 확보했다. 이는 향후 다양한 교육 데이터셋에 동일 프레임워크를 적용해 LLM 교육 능력을 표준화된 지표로 비교할 수 있는 기반을 제공한다.

전반적으로 TeachBench는 “교사 능력”이라는 새로운 차원을 정량화함으로써, LLM 연구가 단순히 정답률을 넘어 학습 촉진·지식 전달 능력을 평가하도록 확장시키는 중요한 시도라 할 수 있다.