교육 데이터 마이닝 자동 연구 시스템 EDM ARS

초록

EDM-ARS는 교육 데이터 마이닝 분야에 특화된 다중 에이전트 파이프라인으로, 연구 질문 설정, 데이터 전처리, 모델 학습·해석, 비평, 논문 작성까지 전 과정을 자동화한다. HSLS:09 데이터를 기준으로 예측 모델을 생성하고, 도메인 지식을 데이터 레지스트리와 검증 규칙에 내재화해 신뢰성 높은 결과물을 LaTeX 원고 형태로 제공한다.

상세 분석

EDM-ARS는 교육 데이터 마이닝(EDM) 연구의 전형적인 워크플로우를 다섯 개의 전문 LLM 기반 에이전트와 상태 머신 오케스트레이터로 구조화한다. 첫 번째 에이전트인 ProblemFormulator는 Semantic Scholar를 활용해 관련 문헌을 검색하고, 데이터 레지스트리에서 변수와 목표를 선택해 연구 사양을 정의한다. 여기서 도메인 특화된 변수 코딩(예: NCES 설문 누락 코드)과 시간적 누수 방지를 위한 규칙이 자동 적용된다. 두 번째 에이전트 DataEngineer는 파이썬 코드를 생성·실행해 원시 HSLS:09 데이터를 정제하고, 결측값을 NCES 가이드라인에 맞게 처리하며, 범주형 변수를 인코딩하고 학습·검증용 데이터셋을 분할한다. Analyst는 다중 모델(로지스틱 회귀, 랜덤 포레스트, XGBoost, ElasticNet, MLP, StackingEnsemble)을 학습하고 SHAP을 이용해 특성 중요도를 시각화하며, 인구통계적 하위그룹에 대한 공정성 평가까지 수행한다. Critic은 사전 정의된 다차원 품질 루브릭(방법론적 엄격성, 데이터 품질, 분석 타당성, 교육적 의미)으로 앞선 에이전트들의 산출물을 검토하고 ‘pass’, ‘revise’, ‘abort’ 중 하나의 판정을 내린다. 판정이 ‘revise’이면 오케스트레이터는 의존성 그래프를 따라 최소 수준의 에이전트를 재실행하고, 최대 재시도 횟수를 초과하면 검증되지 않은 플래그와 함께 작성 단계로 넘어간다. Writer는 LaTeX 템플릿에 자리표시자를 채워 완전한 원고와 BibTeX 형식의 실시간 인용 목록을 생성한다. 시스템 전반에 걸친 데이터 레지스트리는 3계층 설계(원시 변수, 도메인 메타데이터, 검증 규칙)로 도메인 지식을 구조화하고, 각 에이전트는 이를 API 형태로 호출한다. 체크포인트와 복구 메커니즘은 각 상태 전이마다 JSON 파일로 직렬화해 중단된 작업을 손쉽게 재개할 수 있게 한다. 기존 일반 목적 자동 연구 시스템과 달리 EDM-ARS는 도메인 지식을 프롬프트가 아니라 구조적 규칙과 레지스트리로 구현함으로써 LLM의 ‘잊어버림’ 문제를 최소화하고, 교육 데이터 특유의 누수·공정성 이슈를 사전에 차단한다. 현재 한 데이터셋에 국한되고 결과물의 문체가 다소 형식적이라는 제한이 있지만, 향후 인과 추론, 전이 학습, 심리측정, 다중 데이터셋 일반화 등을 단계적으로 지원할 로드맵을 제시한다.