온라인 학습 댓글에서 지식구축 분석 대규모 비구조 텍스트를 위한 IAM 적용

초록

본 연구는 Interaction Analysis Model(IAM)을 기반으로 유튜브 교육 댓글 20 000개에 네 가지 지식구축 범주(비구축, 공유, 탐색, 통합)를 정의한 코드북을 개발하고, 세 명의 전문가가 높은 신뢰도(κ = 0.79)를 보이며 코딩하였다. 이후 Bag‑of‑Words와 최신 트랜스포머 모델을 비교한 결과, DeBERTa‑v3‑large가 매크로 F1 = 0.841로 최우수 성능을 기록했으며, 의료·프로그래밍 등 네 개 도메인에 대한 외부 검증에서도 매크로 F1 > 0.705를 달성하였다. 이로써 대규모 비구조 학습 담론에서 이론 기반 자동 지식구축 분석이 가능함을 입증한다.

상세 분석

이 논문은 온라인 학습 환경, 특히 유튜브와 같은 소셜 미디어 플랫폼에서 발생하는 비구조적 텍스트를 대상으로 지식구축 과정을 정량화하려는 시도로서, 두 가지 핵심 요소를 결합한다. 첫째, 기존 Interaction Analysis Model(IAM)의 다단계 이론을 댓글 수준으로 재구성해 ‘비구축’, ‘공유’, ‘탐색’, ‘통합’ 네 가지 카테고리를 정의한 코드북을 제시한다. 이 과정에서 저자들은 IAM의 순차적 상호작용 개념을 ‘에피스테믹 기능’으로 전환함으로써, 비선형·단편적 댓글에서도 의미 있는 인지적 움직임을 포착할 수 있음을 주장한다.

둘째, 대규모 라벨링 작업을 위해 20 000개의 댓글을 균형 있게 샘플링하고, 세 명의 훈련된 코더가 독립적으로 코딩한 뒤 Cohen’s κ = 0.79(주 데이터)와 0.85–0.93(다른 네 도메인)이라는 높은 신뢰도를 확보한다. 이는 코드북이 실제 현장 데이터에 적용 가능함을 실증적으로 뒷받침한다.

모델링 단계에서는 전통적인 Bag‑of‑Words 기반 로지스틱 회귀, SVM 등을 베이스라인으로 설정하고, BERT, RoBERTa, DeBERTa‑v3‑large 등 최신 트랜스포머 계열을 10‑fold 교차검증으로 비교한다. DeBERTa‑v3‑large가 매크로 평균 F1 = 0.841을 기록하며 가장 우수했으며, 특히 ‘탐색’과 ‘통합’ 같은 미묘한 인지적 차이를 구분하는 데 강점을 보였다.

외부 검증에서는 의료, 프로그래밍, 언어, 음악 네 개 도메인에 동일 모델을 적용했으며, 매크로 F1이 0.705 이상으로 유지되었다. 구조화된 토픽(의료·프로그래밍)에서는 전이 성능이 높았고, 자유로운 토론이 주를 이루는 언어·음악 분야에서는 성능 저하가 관찰되었다. 이는 데이터의 구조적 특성과 도메인 특수 어휘가 모델 일반화에 미치는 영향을 시사한다.

한계점으로는 댓글 단독으로는 상호작용적 맥락을 완전히 포착하기 어려워 ‘협업적 의미 협상’ 단계가 과소평가될 위험이 있다. 또한 라벨링이 4가지 카테고리로 제한돼 있어 다중 라벨링이나 세부 하위 단계(예: 비판·반론)까지는 다루지 못한다. 향후 연구에서는 댓글 간 인용·답글 관계를 그래프 형태로 모델링하거나, 멀티모달(영상·자막) 정보를 결합해 인지적 깊이를 보강할 필요가 있다. 전반적으로 이 논문은 이론‑실증‑기술 삼위일체 접근을 통해 대규모 비구조 학습 담론 분석의 가능성을 제시하고, 학습 분석 및 교육 설계에 실용적인 지표를 제공한다는 점에서 의의가 크다.