LLM‑시뮬레이션 초보자를 활용한 스캐폴딩 대화 데이터 구축

초록

본 논문은 교사 개발 코칭을 사례로, 대형 언어 모델(LLM)로 생성한 초보자 페르소나와 인간 전문가가 다중 턴 대화를 나누는 SimInstruct 시스템을 제안한다. 123개의 스캐폴딩 대화를 수집하고, 실제 멘토링 기록과 비교해 교육적 관련성과 인지 깊이가 유사함을 확인했다. 또한, 수집된 데이터로 파인튜닝한 LLaMA 기반 전문가 모델이 GPT‑4o보다 우수한 교육 품질을 보였다.

상세 분석

SimInstruct는 “전문가‑인‑루프” 설계 철학에 기반한다. 먼저, LLM을 이용해 도메인‑특화 초보자 페르소나를 무작위로 생성한다. 페르소나는 교실 상황, 교육 경력, 전공, 강의 스타일 등 9가지 도메인 속성과 빅파이브 중 4가지 성격 특성(외향성, 개방성, 성실성, 친화성)을 조합해 만든다. 생성된 페르소나는 GPT‑4 검증을 거쳐 논리적 일관성을 확보한다. 이후 GPT‑4가 초기 질문을 생성하고, 초보자는 해당 질문에 따라 대화를 진행한다. 인간 전문가들은 다중 턴으로 피드백, 반성적 질문, 전략 제시 등을 제공하며, 대화는 문제 식별 → 원인 탐색 → 전략 개발의 3단계 스캐폴딩 구조를 따른다.

데이터 수집 결과, 평균 15턴, 528 단어(초보자)와 313 단어(전문가)로 구성된 123개의 대화가 확보되었다. 외향성 높은 초보자 페르소나는 전문가의 발화량을 평균 87단어 증가시키는 등, 페르소나 특성이 대화 양상에 실질적 영향을 미침을 선형 혼합 효과 모델을 통해 입증했다. 반면 친화성·성실성·개방성은 유의미한 차이를 보이지 않았다.

품질 평가에서는 실제 멘토링 녹음 4개와 비교했을 때, 전반적인 교육적 관련성, 메타인지 촉진 정도, 전략적 깊이에서 통계적으로 차이가 없으며, 전문가들은 시뮬레이션 초보자와의 상호작용이 자신의 전문성 성찰을 촉진한다는 주관적 만족도를 보고했다.

수집된 데이터로 LLaMA‑7B 기반 모델을 파인튜닝한 결과, GPT‑4o 대비 “반성적 질문의 깊이”, “구체적 피드백 제공”, “과도한 칭찬 회피” 등에서 우수한 성능을 보였다. 특히 GPT‑4o는 약한 반성적 질문, 일반적인 칭찬 남용, 다소 위압적인 어조, 과도한 제안 제공 등의 한계를 드러냈다.

이 연구는 (1) 개인정보 위험을 회피하면서 대규모 교육 스캐폴딩 데이터를 생성할 수 있는 방법론을 제시하고, (2) 페르소나 설계가 데이터 다양성과 품질에 미치는 영향을 실증적으로 규명했으며, (3) 인간‑LLM 협업이 AI 교육 도구 개발에 있어 상호 학습적 효과를 제공한다는 점을 강조한다. 향후 도메인 확장, 페르소나 정교화, 자동 평가 메트릭 개발 등이 연구 과제로 남는다.