AI가 만든 물리 문제, 스스로 검증한다

초록

본 연구는 학생이 챗봇을 통해 실시간으로 생성한 물리 연습문제를 LLM이 자동으로 평가하는 방식을 탐색한다. 34명의 대학 물리학 초급 수강생이 543개의 문제를 생성·시도했으며, 전문가가 정의한 30여 개의 품질 지표와 학생 선택 데이터를 이용해 세 가지 상용 LLM을 ‘판정자’로 benchmark하였다. 랜덤 포레스트 모델을 통해 어떤 지표가 학생 선호를 예측하는지 분석하고, 설문 응답과 교차 검증하였다. 결과는 전체 지표 중 소수만이 신뢰성·관련성을 동시에 만족한다는 점을 보여, 실시간 교육 서비스에 필요한 최소 검증 집합을 제시한다.

상세 분석

이 논문은 AI‑generated physics problems의 품질 검증을 두 축, 즉 ‘신뢰성(reliability)’과 ‘관련성(relevance)’으로 체계화한다. 신뢰성은 LLM‑as‑judge가 전문가 라벨과 얼마나 일치하는가를 측정하며, 이를 위해 GPT‑4, Claude‑2, Llama‑2‑70B 등 세 모델을 동일한 프롬프트와 JSON 스키마로 평가했다. 결과는 모델 규모와 사전 학습 데이터에 따라 라벨 일치도가 크게 차이나며, 특히 GPT‑4가 전체 지표 중 85 % 이상에서 높은 Cohen’s κ 값을 기록했다는 점이 주목된다.

관련성 분석에서는 학생이 두 개의 후보 문제 중 하나를 선택하도록 한 실험 데이터를 활용했다. 랜덤 포레스트 모델에 30여 개의 메트릭을 입력했을 때, ‘문제 명확성’, ‘물리적 일관성’, ‘수치 현실성’, ‘오답 선택지(디스트랙터)의 교묘함’ 등이 가장 높은 변수 중요도를 보였다. 특히 ‘디스트랙터의 교묘함’은 학생이 선택한 문제의 학습 동기와 직접 연관돼, 단순히 정답만 맞추는 것이 아니라 오답을 어떻게 설계했는지가 학습자 만족도에 큰 영향을 미친다.

또한, 자유 서술형 설문 결과와 모델 기반 예측을 교차 검증했을 때, 학생들은 “문제 상황이 현실적이고 직관적인지”와 “해설이 충분히 제시되는지”를 가장 중요하게 꼽았다. 이는 자동 평가 메트릭에 ‘문맥 적합성’과 ‘해설 제공 여부’를 포함해야 함을 시사한다.

마지막으로 자동 평가 가능성(automatic assessability)을 검증하기 위해, 라벨링 비용 없이 LLM이 JSON 형태로 직접 점수를 반환하도록 프롬프트를 설계했다. 실행 시간은 평균 0.8 초였으며, 클라우드 비용 기준으로도 실시간 서비스에 충분히 적용 가능했다. 전체적으로, 전체 30여 개 지표 중 6~8개만을 조합해도 학생 선택을 78 % 이상 정확도로 예측할 수 있었으며, 이는 실시간 교육 챗봇에 적용할 최소 검증 집합으로 충분함을 입증한다.