학습자 궤적 안정화 AI 기반 학생 지원 이중 강인 평가와 활동 이론 적용

초록

본 연구는 대규모 대학에서 AI가 생성한 성공 확률 점수를 활용해 위험 학생에게 맞춤형 지원을 제공한 사례를, 이중 강인 추정과 시간 정렬된 성향점수 매칭으로 인과 효과를 검증한다. 결과는 지원이 과목 실패율을 현저히 낮추고 누적 성적을 향상시키지만, 학위 취득 속도 향상은 통계적으로 제한적임을 보여준다. 활동 이론을 통해 AI‑지원 시스템을 ‘브레이크’로 해석하고, 제도적 모순이 속도 개선을 방해한다는 구조적 통찰을 제공한다.

상세 분석

이 논문은 학습 분석(LA) 분야에서 흔히 나타나는 ‘예측만 하고 인과 검증은 하지 않는다’는 한계를 극복하고자, 두 단계의 강인성을 갖춘 분석 프레임을 도입한다. 첫 번째 강인성은 시간에 따라 변하는 AI 기반 성공 확률(score)을 사전 시점에 포함한 성향점수(propensity score)를 추정함으로써, 치료(지원) 시점 이전에 발생할 수 있는 ‘불멸 시간(immortal time) 편향’을 제거한다. 두 번째 강인성은 매칭 후 이중 강인(doubly robust) 회귀를 적용해, 매칭 과정에서 남은 불균형과 잠재적 교란 변수를 동시에 보정한다. 이렇게 구축된 준실험 설계는 1,859명의 지원받은 학생과 동등한 특성을 가진 통제군을 매칭시켜, 평균 처리 효과(ATE)를 추정한다.

주요 결과는 세 가지 측면에서 의미한다. 첫째, 지원군은 평균 과목 실패율이 약 12%p 감소했으며, 이는 기존 관찰 연구에서 보고된 효과보다 보수적이면서도 실질적인 개선을 나타낸다. 둘째, 누적 GPA는 0.15점 상승했으며, 이는 학업 성취도 전반에 긍정적 파급 효과를 시사한다. 셋째, 학위 취득까지 소요되는 평균 학기 수는 0.3학기 감소했지만, 95% 신뢰구간이 0에 포함돼 통계적 유의성이 약했다. 이는 지원이 ‘안정화(stabilisation)’에는 강하지만, ‘가속(acceleration)’에는 제도적·구조적 제약이 남아 있음을 암시한다.

활동 이론(AT) 적용은 기술적·사회적 요소를 하나의 활동 시스템으로 통합한다. 여기서 AI 모델은 ‘도구(tool)’로, 학생지원팀은 ‘주체(subject)’, 대학 정책·규정은 ‘규칙(rule)’, 학과·학부는 ‘공동체(community)’, 그리고 ‘학업 성공’이라는 목표(object)를 향해 역할을 분담한다. AT는 첫 번째 모순—학생이 위험 신호를 받았지만 즉각적인 지원이 부족했던 상황—을 AI‑지원이 ‘브레이크’ 역할로 해소했음을 설명한다. 그러나 두 번째 모순—지원 프로세스는 개선되었지만 학점 인정·수강 제한 등 제도적 규칙이 여전히 존재해 학위 취득 속도를 제한한다—는 시스템 전반의 재구성이 필요함을 강조한다.

방법론적 기여는 다음과 같다. (1) 동적 위험 점수를 사전 공변량에 포함해 ‘불멸 시간 편향’을 실질적으로 제거한 점, (2) 블록·캘리퍼 매칭과 부트스트랩 기반 불확실성 추정으로 매칭 품질을 정량화한 점, (3) 민감도 분석을 통해 관측되지 않은 교란에 대한 견고성을 검증한 점이다. 한계로는 관측 가능한 변수에만 의존한다는 점, 장기적인 졸업 후 성과 추적이 부족하다는 점, 그리고 단일 대학 사례에 국한돼 일반화에 조심스러운 점을 들 수 있다.

실무적 시사점은 AI 기반 조기 경보 시스템을 도입할 때, 위험 점수 자체만이 아니라 이를 활용한 지원 프로세스와 제도적 규칙을 동시에 설계해야 한다는 것이다. 특히 지원팀의 인력 배치, 연락 방식, 그리고 학점 인정·수강 정책과 같은 ‘규칙’의 유연성을 확보하면, 안정화 효과를 가속화 효과로 전이시킬 수 있다.