LLM이 모두를 돕지는 않는다 데이터 과학 학습에서 행동 양식과 교육적 시사점

초록

본 연구는 대학원 수준 데이터 과학 과목에서 36명의 학생이 LLM을 활용해 파이썬 기반 데이터 분석 과제를 수행한 로그와 설문을 분석한다. 기술적 배경이 가장 큰 성공 요인임을 확인하고, 학생들의 LLM 사용 행동을 의도 형성, 입력 표현, 출력 해석, 결과 평가 네 단계로 구분한다. 성공적인 사용자는 컨텍스트 제공·프롬프트 분해 등 전략적 행동을 보였으며, 단순 시연만으로는 충분하지 않다. 깊이 있는 교육과 지속적인 피드백이 필요함을 제시한다.

상세 분석

이 논문은 LLM이 데이터 과학 교육에 미치는 영향을 실증적으로 검증하기 위해 혼합 방법론을 채택하였다. 정량적 분석에서는 36명의 학생을 기술 경험, AI 활용 경험, 커뮤니케이션 능력이라는 세 축으로 구분하고, 과제 성적과 과제 수행 시간 등을 회귀 분석하였다. 결과는 ‘기술 경험(프로그래밍·데이터 처리 능력)’이 가장 강력한 예측 변수임을 보여준다. AI 친숙도나 커뮤니케이션 스킬은 통계적으로 유의미한 영향을 미치지 못했다. 이는 LLM이 단순히 진입 장벽을 낮추는 도구일 뿐, 근본적인 도메인 지식 없이는 복합적인 분석 과업을 성공적으로 수행하기 어렵다는 점을 시사한다.

정성적 분석에서는 7,000여 건의 로그 이벤트를 LLM 기반 코딩 스키마로 재구성하였다. 로그를 ‘의도 형성’, ‘입력 표현’, ‘출력 해석’, ‘결과 평가’ 네 단계로 나누고, 각 단계에서 나타난 행동 패턴을 성공·실패 사례와 연결했다. 기술적으로 숙련된 학생은 초기 단계에서 명확한 목표와 충분한 데이터 컨텍스트를 제공하고, 프롬프트를 단계별로 분해하여 LLM에게 구체적인 작업을 요청한다. 반면 초보자는 오류 발생 시 즉시 AI에 의존하거나, 프롬프트를 반복적으로 수정하면서도 목표가 흐려지는 ‘프롬프트 러빗홀’에 빠진다. 또한, 출력 해석 단계에서 결과를 검증하거나 모델 성능을 비판적으로 평가하는 메타인지적 행동이 부족한 경우가 많았다.

교육적 개입 실험에서는 간단한 시연(demonstration) 후 학생들의 프롬프트 품질이 향상되었지만, 출력 평가와 결과 통합 능력은 크게 변하지 않았다. 이는 ‘표면적 유창성’은 단기간에 개선될 수 있으나, ‘심층적 AI 활용 역량’은 지속적인 연습과 피드백이 필요함을 의미한다. 논문은 이러한 역량을 개념·절차·메타인지·태도 네 차원으로 구분한 AI‑사용 역량 프레임워크를 제안하고, 교과 설계 시 단계별 스캐폴딩과 평가 기반 피드백을 포함할 것을 권고한다.

전반적으로 이 연구는 LLM이 교육 현장에서 평등하게 혜택을 제공하지 못한다는 중요한 경고를 제시한다. 기술적 배경이 강한 학생이 LLM을 전략적으로 활용해 성과 격차를 유지하고, 약한 학생은 도구에 과도하게 의존하면서도 핵심적인 분석 능력을 기르지 못한다. 따라서 AI 리터러시 교육은 단순 도구 사용법이 아니라, 문제 정의·프롬프트 설계·결과 검증·비판적 사고를 통합한 포괄적 훈련 프로그램으로 전환해야 한다.