LLM 기반 지식 합성 그래프로 학생 협업 담론 모델링

초록

본 연구는 비동기 텍스트 토론에서 학생들의 아이디어 흐름을 시각화하기 위해 ‘지식 합성 그래프(Knowledge Synthesis Graph, KSG)’를 제안한다. KSG는 학생 발언을 ‘마이크로 아이디어’로 정제하고, 교재의 핵심 개념을 ‘합성 노드’로 추출한 뒤, 두 요소를 ‘인식 관계(Epistemic Relation)’로 연결한다. 대형 언어 모델(LLM)을 활용한 3단계 파이프라인을 설계하고, 대학원 수준의 실제 토론 데이터를 대상으로 인간 전문가 코딩과 프롬프트 반복을 통해 신뢰성을 검증하였다.

상세 분석

이 논문은 협업 학습에서 학생들의 비동기적 텍스트 담론을 구조화된 그래프 형태로 외재화하는 새로운 방법론을 제시한다. 핵심 설계는 두 종류의 노드와 그 사이의 관계를 정의함으로써, 미세한 발언(Micro‑idea)과 교재 기반의 고차원 개념(Synthesis Node)을 연결한다는 점이다. Micro‑idea는 원본 댓글을 ‘맥락‑화 → 필터 → 재작성’ 과정을 거쳐 독립적인 서술로 변환하고, 네 가지 인식 라벨(서술적, 해석적, 분석적, 생성적)로 분류한다. 이는 LLM이 짧고 대화형인 원문에서 의미를 왜곡하지 않도록 하는 전처리 단계이며, 라벨링 체계는 학습자의 인지적 참여 수준을 정량화한다.
Synthesis Node는 교재 전체 텍스트와 요약, 강사의 프롬프트를 입력으로 LLM이 핵심 개념과 주장들을 추출해 만든다. 이 노드는 학생 발언이 연결될 ‘공통 기준점’ 역할을 하여, 학습자들이 자신의 아이디어를 보다 넓은 학문적 맥락에 매핑하도록 돕는다.
마지막 단계인 Epistemic Relation은 두 레벨의 코딩 스키마를 사용한다. 1차 레벨은 ‘전진(build toward, +)’과 ‘후퇴(push back, –)’라는 방향성을, 2차 레벨은 ‘근거 제공, 반증, 설명·확장, 해체, 새로운 아이디어, 질문·비판’ 등 여섯 가지 기능을 정의한다. 이러한 다중 차원 관계 표시는 아이디어가 단순히 나열되는 것이 아니라, 논증적·발전적 흐름을 갖도록 만든다.
실험에서는 42개의 주석을 대상으로 세 단계별 성능을 정량·정성적으로 평가했다. Micro‑idea 추출은 프롬프트 반복(P_base → P1 → P2) 과정을 통해 κ=0.619에서 0.643, Macro F1=0.561에서 0.722로 향상되었으며, 라벨링의 미세 구분이 모델의 민감도를 높였음을 보여준다. Synthesis Node 생성은 요약과 강사 프롬프트를 결합한 경우에 가장 일관된 결과를 보였으며, 과도한 원문 입력은 ‘환각’ 위험을 증가시켰다. Epistemic Relation 단계에서는 네 가지 프롬프트 설계 중 제안된 2‑레벨 스키마(P3)가 실행률과 모델 간 일관성 모두에서 최고 성능을 기록했다. 이는 관계 코딩이 복잡할수록 구조화된 프레임워크가 필요함을 시사한다.
논의에서는 LLM이 통계적 편향을 반영해 소수 의견을 억제하거나 학습자 주체성을 약화시킬 위험을 지적하고, 평가 기준을 단일 정답 대비 학습 맥락·상호작용 중심으로 전환할 필요성을 강조한다. 향후 연구는 실제 교실 적용, 체인‑오브‑쓰루(Chain‑of‑Thought)와 검증 모델 도입, 그리고 그래프를 동적·협업적 학습 도구로 발전시키는 방향을 제시한다.