PedagoSense 교육 대화에서 교수 전략 탐지와 맞춤형 응답 생성

초록

PedagoSense는 튜터‑학생 대화에서 교수 전략을 이진·다중 분류로 탐지하고, 대화 맥락에 맞는 전략을 추천한 뒤 LLM(GPT‑4o)으로 전략에 부합하는 응답을 생성하는 시스템이다. 이진 분류는 SMOTE와 GPT‑4o 기반 데이터 증강을 활용해 2,000개 샘플(각 클래스 1,000개)로 균형을 맞추었으며, BERT‑Base 모델이 98.5% F1 점수를 달성했다. 다중 분류는 8가지 전략(질문, 설명, 힌트 등)을 대상으로 BERT‑Large를 fine‑tune했으며, 매크로 F1가 45.95%에 머물렀지만 전략별 정확도 차이를 통해 개선 방향을 제시한다. 전체적으로 PedagoSense는 교육 이론을 LLM 기반 실시간 응답 생성에 연결해 적응형 튜터링을 가능하게 한다.

상세 분석

PedagoSense는 두 단계의 분류 파이프라인과 LLM 기반 응답 생성기를 결합한 하이브리드 아키텍처를 제안한다. 첫 번째 단계는 튜터의 발화에 교수 전략이 포함됐는지를 판단하는 이진 분류기로, BERT‑Base를 사용하고 데이터 불균형을 해결하기 위해 SMOTE와 GPT‑4o를 이용한 텍스트 증강을 동시에 적용한다. SMOTE는 소수 클래스 샘플을 선형 보간해 303→1,000개로 늘렸으며, GPT‑4o는 실제 교육 대화 스타일을 유지한 고품질 샘플을 생성해 전체 2,000개(각 클래스 1,000개)로 균형을 맞췄다. 실험 결과, 데이터 증강을 적용한 BERT‑Base가 검증 F1 = 98.85%, 테스트 F1 = 98.5%를 기록해 로지스틱 회귀 기반 TF‑IDF 베이스라인(≈95%)을 크게 앞섰다.

두 번째 단계는 이진 분류를 통과한 발화에 대해 8가지 세부 전략을 예측하는 다중 클래스 분류이다. 여기서는 BERT‑Large uncased를 fine‑tune했으며, 라벨 인코더와 패딩·마스크 처리로 입력을 정규화했다. 데이터가 여전히 소수 클래스에 편중돼 있었기 때문에, 동일하게 GPT‑4o를 활용해 전략별 샘플을 증강했다. 그러나 증강 후에도 매크로 F1가 45.95%에 머물렀으며, 전략별 평균 정확도는 ‘ask_question’(88.17%)과 ‘explain_concept’(67.86%)는 높지만 ‘provide_example’, ‘provide_hint’ 등은 25~30% 수준에 그쳤다. 이는 해당 전략이 문맥적으로 미묘하고, 기존 텍스트 특징만으로는 구분이 어려워 추가적인 메타데이터(예: 학생의 정답률, 문제 난이도)와 멀티모달 정보가 필요함을 시사한다.

전략 추천 모듈은 대화 히스토리를 입력으로 전통적인 SVM, Naïve Bayes, Boosting 모델을 각각 학습시킨 뒤 다수결 투표(Hybrid‑Traditional Voting)로 최종 전략을 도출한다. 이는 각 모델의 장점을 보완해 전반적인 추천 정확도를 높인다.

LLM 응답 생성 단계에서는 GPT‑4o API를 호출해 추천된 전략에 맞는 교사 발화를 생성한다. 생성된 텍스트는 다시 BERT‑Base 이진 분류기로 검증돼 전략 적용 여부를 확인하고, 일치하면 최종 응답으로 전달한다. 이 순환 검증은 LLM이 전략을 오탈자나 부적절한 방식으로 구현하는 위험을 감소시킨다.

해석 가능성 측면에서 저자는 LIME을 이용해 BERT‑Base가 오분류한 5개 샘플의 단어 기여도를 시각화했다. ‘great’와 같은 긍정적 어휘가 과도하게 영향력을 행사해 오분류를 유발하고, ‘say’, ‘got’ 등은 부정적 기여를 보여 모델이 표면적인 키워드에 과도 의존함을 드러냈다. 이는 교육 대화에서 의미론적 깊이와 논리 흐름을 포착하도록 사전학습 데이터와 fine‑tuning 전략을 재설계할 필요성을 강조한다.

전반적으로 PedagoSense는 교육 이론(전략 분류)과 최신 LLM(응답 생성)을 연결했지만, 다중 클래스 성능 한계와 데이터 증강 품질, 모델 해석 가능성 등에서 추가 연구가 요구된다.