AI 기반 계획 도구에서 추적 활용이 알고리즘 사고에 미치는 영향

초록

본 연구는 AI 지원 계획 도구에 실행 추적을 추가했을 때 학습자의 알고리즘 추론 방식과 피드백 품질이 어떻게 변하는지를 탐구한다. 20명의 대학생을 대상으로 자연어 기반 계획과 추적 기반 계획을 비교한 결과, 추적 조건에서는 단계 수가 감소하고 코드‑지향적 서술보다 목표‑지향적 사고가 강화되었으며, 부분적으로 올바른 중간 해결책이 더 일관되게 나타났다. 최종 코딩 성취도와 LLM 피드백의 정확성·신뢰도에는 유의미한 차이가 없었다.

상세 분석

이 연구는 AI‑지원 계획 도구가 제공하는 자연어 입력만을 사용하는 전통적 접근과, 여기에 실행 추적(변수 값의 단계별 변화를 명시) 입력을 결합한 새로운 인터페이스를 비교함으로써 두 가지 핵심 질문을 제기한다. 첫 번째는 추적 기반 계획이 학습자의 내부 모델링과 문제 해결 전략에 어떠한 변화를 일으키는가이며, 두 번째는 이러한 변형이 LLM이 생성하는 피드백의 정확도와 학습자 인식에 미치는 영향을 평가한다. 실험 설계는 무작위 배정된 두 그룹(각 10명)에게 동일한 점프 게임(LeetCode) 문제를 제시하고, 15분간 계획 단계에서 AI 피드백을 반복적으로 받게 한 뒤, 10분간 코딩을 수행하도록 하였다. 데이터는 계획 텍스트, 추적 표, 최종 코드, 설문 척도, 인터뷰 전사 등 다중 소스로 수집되었으며, 단계 수, 제어 흐름 언급 빈도, 단어 수, 의미적 유사도(코드 임베딩 코사인) 등을 정량화하고, 두 명의 연구자가 독립적으로 코딩 유형을 귀납·연역적으로 분류해 κ=0.70의 신뢰도를 확보하였다. 결과는 통계적으로 의미 있는 차이를 보인 항목이 두 가지였는데, 첫째는 추적 조건에서 단계 수가 평균 2.3개 감소(p=0.026)했으며, 둘째는 제어 흐름(조건문·반복문) 언급이 감소(p=0.018)했다는 점이다. 이는 학습자가 구체적인 코드 라인보다는 문제의 목표와 상태 전이 자체에 초점을 맞추는 경향을 나타낸다. 반면 전체 단어 수는 차이가 없었고, 의미적 정렬(코드와 계획 사이의 코사인 유사도) 역시 유의미한 차이를 보이지 않아, 계획의 양적 길이는 유지되면서 내용이 더 압축되고 추상화되었음을 시사한다. 정성적 분석에서는 추적 조건의 계획이 복수의 연산을 하나의 단계에 통합하고, 각 단계마다 이유를 명시하는 ‘설명적 추적’ 형태를 띠는 반면, 자연어 조건은 순차적이고 코드‑유사한 세부 단계 나열에 머물렀다. 코딩 결과에서는 추적 그룹이 부분적으로 올바른 중간 솔루션을 더 자주 제시했지만, 최종 테스트 케이스 통과율이나 전체 점수에서는 차이가 없었다(p>0.05). LLM 피드백 측면에서는 오류 지적 정확도와 설명 품질이 두 조건 모두에서 비슷했으며, 학습자 설문에서도 인지 부하, 사용성, 학습 효과에 대한 차이는 통계적으로 유의하지 않았다. 종합적으로, 추적을 도입하면 학습자의 사고 방식을 목표‑지향적으로 전환시키고, 보다 구조화된 내부 모델을 형성하게 하지만, 현재 구현된 LLM 피드백 시스템은 이러한 변화에 민감하게 반응하지 못한다는 한계가 드러난다. 설계 시 추적 입력이 AI 해석에 충분히 활용될 수 있도록 프롬프트 엔지니어링이나 피드백 알고리즘을 개선할 필요가 있다.