LLM 기반 교육 설계 에이전트 평가를 위한 포괄적 벤치마크 ISD Agent Bench

초록

본 논문은 교육 설계(Instructional Systems Design, ISD) 전 과정을 자동화하는 LLM 기반 에이전트를 체계적으로 평가하기 위해 25,795개의 시나리오와 1,202개의 테스트 케이스로 구성된 ISD-Agent-Bench 벤치마크를 제안한다. 51개의 맥락 변수와 ADDIE 모델의 33개 세부 단계가 결합된 Context Matrix 프레임워크를 통해 시나리오를 생성하고, 서로 다른 제공자의 LLM을 활용한 다중 판정자 프로토콜로 평가 신뢰성을 확보하였다. 실험 결과, 전통적인 ISD 이론과 ReAct 스타일 추론을 결합한 React‑ADDIE 에이전트가 가장 높은 성능을 보이며, 이론 기반 접근이 복잡한 교육 설계 과제에서 큰 이점을 제공함을 확인했다.

상세 분석

본 연구는 LLM 기반 에이전트가 교육 설계 전 과정을 자동화하는 데 직면한 평가 난관을 해결하고자, 두 차원으로 구성된 Context Matrix 프레임워크를 설계하였다. 첫 번째 차원인 Context Axis는 학습자 특성(연령, 교육 수준, 전문성, 직업), 기관 맥락(K‑12, 대학, 기업 등), 교육 도메인(언어, 수학, 과학, IT, 의료 등), 전달 방식(교실, 온라인, 혼합, VR/시뮬레이션) 및 제약 조건(클래스 규모, 예산, 기술 가용성 등) 등 51개의 변수를 5개 카테고리로 정리한다. 두 번째 차원인 ISD Axis는 ADDIE 모델을 세분화한 33개의 하위 단계(문제 정의, 학습 목표 설정, 전략 설계, 자료 개발, 파일럿 테스트 등)를 13개의 평가 항목으로 집계한다. 이 두 축을 교차시켜 25,795개의 시나리오를 자동 생성했으며, 시나리오 난이도는 목표 수, 도메인 난이도, 자원 수, 기간, 예산 등을 가중합산해 Easy/Medium/Hard로 구분하였다.

데이터 생성 파이프라인은 SCOPUS 논문 초록 10,577개를 시드로 활용해 GPT‑4o가 맥락에 맞는 교육 목표와 제약을 기술하도록 하였으며, 이후 규칙 기반 검증과 LLM 기반 논리 검증을 통해 품질을 확보했다. 특히, 맥락 불균형을 해소하기 위해 저연령 학습자, 대규모 클래스, 성인 자기주도 학습 등 부족한 조합을 목표로 추가 합성 작업을 수행하였다.

평가 방법론은 두 가지 축을 결합한다. 첫째, ADDIE 기반 루브릭을 사용해 산출물(학습 목표, 설계 문서, 평가 도구 등)의 질을 점수화하고, 둘째, 에이전트의 행동 궤적(툴 호출, 단계 전이, 재설계 반복 등)을 분석해 프로세스 효율성을 측정한다. 평가 신뢰성을 높이기 위해 Gemini‑3‑Flash, GPT‑5‑mini, Solar‑Pro3 등 서로 다른 제공자의 LLM 3종을 다중 판정자로 활용했으며, 판정자 간 상관계수 0.905를 기록했다.

제안된 에이전트는 네 가지 유형으로 구현되었다. React‑ADDIE는 ADDIE 프레임워크와 ReAct 스타일 추론(관찰‑생각‑행동 루프)을 결합했으며, ADDIE‑Agent는 단계별 세분화만 적용했다. Dick‑Carey‑Agent는 Dick & Carey 모델의 9단계와 목표‑평가‑학습 연계성을 강조했고, RPISD‑Agent는 Rapid Prototyping ISD의 반복적 프로토타이핑 절차를 구현했다. 실험 결과, React‑ADDIE가 86.49점으로 가장 높은 점수를 얻었으며, 순수 이론 기반 ADDIE‑Agent(82.96점)와 기술‑중심 베이스라인(84.07점)보다 우수했다. 특히, 문제 중심 설계와 목표‑평가 정렬 측면에서 이론 기반 에이전트가 큰 장점을 보였으며, 난이도가 높을수록 이론적 품질과 성능 간 상관관계가 강화되는 경향을 발견했다.

한계점으로는 시나리오 생성 과정에서 LLM에 의존한 부분이 남아 있어 인간 전문가 검증이 부족할 수 있고, 현재 벤치마크는 주로 영어 기반 교육 콘텐츠에 초점을 맞추어 다문화·다언어 환경 적용에 추가 연구가 필요하다. 또한, 에이전트가 실제 교육 현장에 배포될 때 발생할 수 있는 윤리·프라이버시 이슈에 대한 논의가 부족하다. 향후 연구에서는 인간‑LLM 협업 하이브리드 설계, 멀티모달 툴 연계, 그리고 장기적인 학습 효과 측정을 위한 실험 설계 등을 확대할 계획이다.