학습 프로그램 임베딩을 통한 학생 코드 피드백 자동 전파

초록

본 논문은 프로그램을 전처리 상태와 후처리 상태 사이의 선형 변환으로 모델링하고, 이를 신경망 기반 임베딩으로 학습하여 대규모 온라인 코스에서 교사의 주석을 자동으로 전파하는 방법을 제시한다. 코드의 기능적·스타일적 특성을 포착한 임베딩을 활용해 Code.org와 스탠포드 CS1 과목의 방대한 제출물에 대해 인간 교사의 피드백을 수십 배 확대한다.

상세 분석

이 연구는 프로그램을 Hoare 삼중항(P, A, Q) 형태의 데이터로 변환하고, 전처리 상태 P와 후처리 상태 Q를 각각 비선형 인코더 f(P), f(Q) 로 매핑한 뒤, 프로그램 A를 m×m 행렬 M_A 로 표현한다. 핵심 가정은 적절한 비선형 임베딩을 통해 대부분의 프로그램이 해당 임베딩 공간에서 선형 변환으로 근사될 수 있다는 점이다. 이를 위해 저자들은 자동인코더 구조를 사용해 상태 공간을 압축하고, 각 고유 프로그램에 대해 별도의 매트릭스 M_i 를 할당하는 비파라메트릭 모델(NPM)을 설계하였다. 학습 목표는 (1) 예측 손실(pred) – 주어진 전처리 상태와 프로그램으로 후처리 상태를 정확히 예측, (2) 재구성 손실(auto) – 인코더·디코더가 원래 상태를 복원, (3) 정규화 항(R) 으로 구성된 복합 손실을 최소화하는 것이다. 미니배치 SGD와 Adagrad를 이용해 파라미터를 최적화하고, 초기화 단계에서는 상태 자동인코더와 릿지 회귀를 통해 각 프로그램의 초기 매트릭스를 추정한다.

데이터 수집은 프로그램 실행 시 모든 서브트리(A⊂S)에 대해 전·후 상태를 기록함으로써 이루어진다. 이렇게 얻은 서브트리 수준의 Hoare 삼중항은 프로그램의 기능뿐 아니라 구현 방식(스타일)까지 포착한다는 장점이 있다. 피드백 전파 단계에서는 교사가 일부 대표 프로그램에 대해 라벨(피드백) H⊂L을 부여하고, 학습된 임베딩 매트릭스 M_A 를 특징으로 사용해 다중 이진 분류기를 훈련한다. 결과적으로 라벨이 없는 수많은 제출물에 대해 자동으로 동일한 피드백을 예측한다. 실험에서는 Code.org Hour of Code(2700만 명 이상)와 스탠포드 CS1(수천 명)의 과제 데이터를 활용했으며, 기존 AST 편집 거리 기반 방법에 비해 피드백 정확도가 크게 향상되었다. 또한, 프로그램 임베딩이 기능적 유사성을 잘 포착함을 시각화와 정량적 평가를 통해 입증하였다. 이 접근법은 프로그램의 의미론적 구조를 선형 연산으로 압축함으로써 대규모 교육 환경에서 인간 교사의 작업 부하를 현저히 감소시키는 실용적 가치를 제공한다.