튜터링 대화에서 시간적 스캐폴딩 분석을 위한 임베딩 기반 정렬

초록

본 논문은 수학 튜터링 대화 1,576개에 임베딩을 적용해 교사와 학습자의 발화가 문제 진술 및 정답과 얼마나 의미적으로 정렬되는지를 측정한다. 코사인 유사도를 이용한 정렬 점수를 시간에 따라 추적하고, 혼합효과 모델로 대화 진행도 예측에 활용한다. 결과는 교사는 초기 단계에서 문제 내용에 높은 정렬을 보이며, 학습자는 정답 정렬이 진행과정에서 긍정적으로 작용한다는 점을 보여준다.

상세 분석

이 연구는 튜터링 대화에서 스캐폴딩을 연속적인 의미적 특성으로 정의하고, 두 개의 작업 앵커(문제 진술과 정답)와의 정렬을 정량화한다. 임베딩 생성에는 all‑MiniLM‑L6‑v2 모델을 사용해 384차원 벡터를 얻었으며, 교사·학생 각각의 발화와 문제·정답 텍스트 간 코사인 유사도를 계산했다. 정렬 점수는 0~1 사이이며, 높은 값은 발화가 해당 앵커와 의미적으로 가까움을 의미한다.

시간적 분석에서는 각 발화의 상대적 위치(n/N)를 기준으로 정렬 점수를 평균화하고 가우시안 스무딩을 적용해 트렌드를 시각화했다. 교사의 문제 정렬 점수는 초기에는 상승 후 점차 감소하는 bimodal 패턴을 보였으며, 이는 교사가 문제를 재진술하거나 핵심 정보를 강조하는 순간과, 탐색적 질문으로 전환하는 순간을 반영한다. 반면 학생의 문제 정렬은 전반적으로 낮은 수준을 유지했으며, 이는 학생이 문제 용어를 그대로 재사용하기보다 자신의 사고 과정을 서술하는 경향을 나타낸다. 정답 정렬은 교사·학생 모두에서 좌측으로 치우친 분포를 보였고, 시간에 따라 큰 변동이 없었다. 이는 대화 전반에 걸쳐 정답에 대한 직접적인 언급이 제한적이며, 스캐폴딩이 점진적으로 해결 단계로 전이되는 방식을 시사한다.

예측 모델에서는 기본 모델(메시지 순서) 외에 메시지 길이, 문제 정렬, 정답 정렬을 추가하였다. 혼합효과 회귀분석 결과, 순서 변수는 진행도에 가장 큰 양의 효과를 보였고, 메시지 길이도 유의한 양의 효과를 나타냈다. 흥미롭게도 문제 정렬(특히 교사의 경우)은 진행도와 부의 관계를, 학생의 정답 정렬은 양의 관계를 보였다. 이는 교사가 초기에 문제 맥락을 강조할수록 대화가 더 오래 지속될 가능성이 있음을, 학생이 정답에 가까워질수록 대화가 빠르게 종료될 가능성을 의미한다. 모델의 BIC와 우도비 검정은 역할별 정렬 효과를 포함한 최종 모델이 가장 적합함을 확인했다.

이러한 결과는 스캐폴딩을 연속적인 의미 정렬로 포착함으로써, 전통적인 규칙 기반 혹은 힌트 수 기반 지표보다 더 미세한 교수-학습 상호작용을 드러낼 수 있음을 보여준다. 또한, 임베딩 기반 정렬은 다양한 과제와 도메인에 일반화 가능하다는 장점을 가진다.