언어와 담론으로 학습자 혼란 감지: MOOC에서 개인 맞춤형 분류 모델

초록

본 연구는 대규모 온라인 강좌(MOOC)에서 학습자의 ‘혼란(confusion)’을 커뮤니티 메타데이터가 아닌 순수 텍스트와 담론 특성만으로 분류하는 새로운 접근법을 제시한다. 스탠포드 MOOC 포럼 데이터를 활용해 30,000여 개 게시물을 3개 분야(교육, 인문, 의학)에서 수집·라벨링하고, 다변량 분산분석(MANOVA)으로 혼란과 비혼란 게시물 간에 통계적으로 유의한 언어·담론 특징을 도출하였다. 도출된 특징(예: 의문사 사용 빈도, 1인칭·2인칭 대명사 비율, 감정 어휘, 문장 복잡도 등)을 기반으로 SVM, 랜덤포레스트, 신경망 등 여러 머신러닝 모델을 학습시켰으며, 동일 분야 내에서는 기존 연구보다 5~10% 높은 정확도를, 분야 간 교차 검증에서는 70% 이상의 안정적인 성능을 기록하였다. 결과는 개인의 정서·인지 상태를 반영한 언어적 신호가 혼란 감지에 충분히 활용될 수 있음을 입증한다.

상세 분석

본 논문은 기존 MOOC 혼란 탐지 연구가 주로 ‘투표 수·조회 수·댓글 수’와 같은 커뮤니티 메타데이터에 의존해 온 점을 비판하고, 개인의 정서·인지 상태를 직접 반영하는 언어·담론 특성에 초점을 맞춘다. 이를 위해 먼저 스탠포드 MOOC 포스트 데이터셋을 확보했으며, 30,000여 개의 익명화된 포스트를 1(매우 명확)~7(극도로 혼란) 점수로 라벨링했다. 4점 이상을 ‘혼란’, 4점 미만을 ‘비혼란’으로 이진 분류하고, 중립(4점) 포스트는 실험에 따라 포함·제외 두 가지 조건으로 처리했다.

다변량 분산분석(MANOVA)에서는 30개의 언어·담론 변수를 독립 변수로, 혼란 여부를 종속 변수로 설정해 통계적 차이를 검증하였다. 주요 유의 변수는 다음과 같다.

1. 의문사(‘왜’, ‘어떻게’)와 물음표 사용 빈도 – 혼란 포스트에서 현저히 높음.
2. 1인칭·2인칭 대명사 비율 – 혼란 상황에서 자기·타인 언급이 증가, 이는 메타인지적 불확실성을 반영한다.
3. 감정 어휘(불안, 당황)와 부정어 사용 – 부정적 감정 표현이 혼란 포스트에 집중.
4. 문장 길이·복잡도(절 수, 평균 토큰 수) – 혼란 포스트는 종종 길고 복합적인 문장을 사용해 인지 부하를 나타낸다.
5. 어휘 다양성(타입‑토큰 비율) – 높은 다양성이 혼란 상황에서 새로운 개념을 탐색하려는 시도로 해석된다.

이러한 특징을 기반으로 세 가지 머신러닝 모델을 구축했다. 선형 SVM은 고차원 희소 특징에 강건했으며, 랜덤포레스트는 비선형 상호작용을 포착해 가장 높은 교차 검증 정확도(≈84%)를 기록했다. 심층 신경망(2‑layer feed‑forward)은 대규모 데이터에서 약간의 과적합을 보였지만, 도메인 간 전이 학습 시 일반화 능력이 뛰어났다. 특히, 교육 분야에서 학습한 모델을 인문·의학 분야에 그대로 적용했을 때 평균 71%의 F1 점수를 유지했으며, 이는 기존 연구(커뮤니티 메타데이터 기반)에서 보고된 60% 수준보다 현저히 우수했다.

모델 성능 비교에서는 기존 베이스라인(Bag‑of‑Words + 투표·조회)보다 정확도·재현율·F1 점수 모두 5~12%p 상승했으며, 특히 ‘중립 포스트 포함’ 실험에서 혼란 포스트를 과소 탐지하는 오류가 크게 감소했다. 이는 언어·담론 특징이 혼란의 미묘한 뉘앙스를 포착하는 데 효과적임을 시사한다.

한계점으로는 (1) 라벨링이 주관적 설문에 기반해 1~7 점 척도로 이루어졌으며, (2) 포스트 길이가 짧은 경우 특징 추출이 제한적이며, (3) 비정형 언어(오탈자·줄임말) 처리에 추가적인 전처리 개선이 필요함을 언급한다. 향후 연구에서는 다중 모달(음성·시각) 데이터와 실시간 피드백 시스템을 결합해 혼란 감지와 즉각적 개입을 연계하는 방안을 제시한다.