메타클래스 자기조절 학습을 위한 메타인지 코칭 프레임워크

초록

MetaCLASS는 학습자의 메타인지 과정을 지원하기 위해 11가지 해석 가능한 코치 행동을 정의하고, 학습자 프로파일과 문제 특성을 기반으로 교육적 궤적을 사전 계획한 뒤 대화형 튜터링을 생성한다. 1,015개의 대화 데이터와 9개의 대형 언어 모델을 활용한 실험에서, 현재 LLM은 최적 행동을 43 % 수준으로만 예측하며 ‘무개입’ 상황을 크게 과소평가하는 편향을 보인다.

상세 분석

MetaCLASS는 메타인지 교육 이론인 MAI(Metacognitive Awareness Inventory)를 기반으로, 계획(Planning), 모니터링(Monitoring), 디버깅(Debugging), 평가(Evaluation) 네 가지 핵심 과정을 11개의 구체적 코치 움직임으로 전환한다. 여기서 ‘NO_INTERVENTION’을 첫 번째 행동으로 포함시켜, 학습자가 생산적인 갈등을 겪도록 의도적인 침묵을 전략적으로 활용한다는 점이 혁신적이다. 두 단계 생성 파이프라인은 먼저 학습자 프로파일(과신‑과소신, 도움‑요청 유형)과 문제 분석(지식·전략·모니터링·실행 격차)으로 구성된 교육적 궤적을 설계한다. 궤적은 ‘이벤트‑신호‑행동‑효과’ 네 요소로 이루어져, 각 턴에서 기대되는 학습자 발화와 코치의 최적 개입을 명시한다. 이후 두 번째 단계에서 LLM이 사전 정의된 궤적에 따라 자연스러운 대화를 생성하므로, 내용은 자유롭게 변형되지만 교육적 의도는 엄격히 보존된다. 데이터 구축 과정에서는 GSM8K, MATH, AIME 등 수학 문제 집합을 활용해 1,015개의 대화를 7,711턴 규모로 자동 생성하고, 인간 라벨러가 턴별 메타인지 라벨을 부착했다. 라벨링 품질은 ‘교육적 연속성’과 ‘궤적 일치도’ 지표로 검증했으며, 평균 일관성 점수가 0.84에 달한다. 벤치마크에서는 GPT‑4, Claude, Llama 등 9개 모델에 대해 다음 코치 움직임 예측 과제를 부여했으며, 최고 성능 모델조차 43.2 % 정확도에 머물렀다. 특히 ‘무개입’이 정답인 41.7 %의 턴에서 모델은 이를 4.2 % 이하로만 예측해, 과도한 개입 편향(compulsive intervention bias)을 드러냈다. 이는 기존 LLM이 ‘유용성’이나 ‘설명 생성’에 최적화돼 있을 뿐, 학습자의 인지 상태를 평가하고 적절히 침묵을 선택하는 메타인지적 판단 능력이 부족함을 시사한다. 결과적으로 MetaCLASS는 메타인지 튜터링을 위한 행동 공간 정의, 대규모 라벨링 파이프라인, 그리고 실질적인 의사결정 능력을 평가할 수 있는 테스트베드로서 학계와 산업계에 중요한 기준점을 제공한다.