신체 움직임으로 수학 문제 해결 중 반성적 사고 자동 탐지

초록

본 논문은 어린이들이 몸을 이용해 수학 문제를 탐구하는 과정에서 나타나는 반성적 사고를, Kinect 기반 3차원 움직임 데이터와 전문가 라벨을 활용해 자동으로 식별하는 방법을 제시한다. weDraw‑1 Movement 데이터셋을 구축하고, 행동 관찰을 통한 특징 추출 및 LSTM 신경망 모델을 적용해 평균 F1 점수 0.73(특징 기반) 및 0.79(원시 데이터 기반)를 달성하였다. 4초 길이의 짧은 구간에서도 F1 0.64를 기록, 실시간 교육 게임에 적용 가능한 가능성을 보여준다.

상세 분석

본 연구는 반성적 사고를 외부 행동, 특히 전신 움직임으로 추론한다는 점에서 기존의 얼굴 표정·음성 기반 정서 인식 연구와 차별화된다. 데이터 수집은 두 환경(대학 실험실과 초등학교 교실)에서 26명의 6~11세 아동을 대상으로 진행했으며, Microsoft Kinect v2 센서를 이용해 3차원 관절 좌표 시계열을 획득했다. 라벨링은 Dewey의 반성적 사고 정의를 바탕으로, ‘문제에 대한 고민 시간’과 ‘해결 과정 중의 탐색·비판적 사고’를 관찰자가 판단해 0/1 라벨을 부여하였다.

행동 분석 단계에서는 관찰자들이 주목한 주요 움직임 패턴을 정성적으로 정리했는데, 예를 들어 팔을 펼쳐 각도를 시각화하거나, 몸을 회전시켜 공간적 관계를 탐색하는 동작, 그리고 손을 머리 위에 올려 생각을 정리하는 제스처 등이 반성적 사고와 높은 상관성을 보였다. 이러한 정성적 인사이트를 토대로, 관절 속도, 가속도, 관절 간 거리 변화, 움직임의 변동성 등 12개의 통계적 특징을 추출하였다.

모델링에는 두 가지 접근법을 사용했다. 첫 번째는 위에서 정의한 특징 벡터를 입력으로 하는 LSTM 기반 이진 분류기로, 시계열 특성을 유지하면서 시간적 의존성을 학습한다. 교차 검증 결과 평균 F1 0.73을 기록했으며, 특히 ‘고정된 자세 유지 → 급격한 움직임 전환’ 패턴이 반성적 사고를 예측하는 데 핵심적인 역할을 함을 확인했다. 두 번째는 원시 3차원 좌표 시퀀스를 그대로 입력으로 하는 end‑to‑end LSTM 모델로, 전처리 단계 없이도 평균 F1 0.79라는 높은 성능을 달성했다. 이는 특징 설계 없이도 신경망이 중요한 움직임 패턴을 자동으로 학습할 수 있음을 시사한다.

또한, 4초 이하의 짧은 윈도우에서도 F1 0.64를 유지함으로써 실시간 시스템 구현 가능성을 검증하였다. 이는 교육용 게임이 학습자의 반성적 사고를 거의 즉시 감지하고, 적절한 피드백이나 힌트를 제공할 수 있음을 의미한다. 한계점으로는 데이터셋 규모가 비교적 작고, 라벨링이 전문가에 의존한다는 점, 그리고 환경에 따라 움직임 잡음이 달라질 수 있다는 점을 들 수 있다. 향후 연구에서는 더 다양한 연령대와 문화권을 포함한 데이터 확장, 멀티모달(음성·시선·생체신호) 융합, 그리고 라벨링 자동화를 위한 반감성 학습 기법을 탐색할 필요가 있다.