LLM 기반 자동 채점, 구성 무관 요인에 얼마나 강인한가?

본 논문은 교육 평가 분야에서 널리 활용되는 자동 채점 시스템이 구성‑무관 요인(construct‑irrelevant factors)에 의해 성능이 왜곡될 위험성을 지적하고, 특히 최근 대형 언어 모델(LLM)을 기반으로 한 채점 시스템이 이러한 문제에 어떻게 대응하는지를 실증적으로 분석한다. 연구팀은 상황판단 테스트(SJT)용 짧은 서술형 응답을 채점하도록 설계된 이중‑아키텍처(LM‑as‑a‑Judge + 선형 회귀) 시스템을 구축하였다. 이 시스템은 30개의 SJT 항목을 포함하고, 9‑10명의 학생이 4가지 역량(자기조절, 대인관계, 사회·윤리적 책임, 비판적 사고·문제 해결)을 평가한다. 원본 응답은 인간 평가자에 의해 1‑5 리커트 척도로 채점되었으며, 이 데이터를 바탕으로 LLM 기반 모델을 학습시켜 인간과 동등한 수준의 예측 정확도를 달성했다. 연구는 세 가지 구성‑무관 요인을 선택하였다. 첫째, 의미 없는 텍스트 삽입(패딩)으로는 원본 복제, 역량 설명 문장, 시나리오 재진술, 그리고 공식화된 문구(“I would approach the situation…”)를 사용했다. 두 번째는 작성 정교도 변형으로, 철자 오류를 무작위로 5%~50% 비율로 삽입하고, GPT‑5 mini를 활용해 원문을 읽기 난이도(Flesch‑Kincaid) 기준으로 고·저 수준으로 재작성했다. 세 번째는 오프‑토픽 응답으로, 원본 응답을 다른 항목에 무작위 매칭시키는 방식을 두 가지(다른 역량 vs. 동일 역량)로 실험했다. 각 변형마다 545개의 변형 응답을 생성하고, 원본과 쌍을 이루어 점수 차이를 Cohen’s d로 정량화하였다. 패딩 실험 결과, 단순 복제는 평균 점수를 –0.24의 작은 규모로 감소시켰으며, 이는 기존 Transformer 기반 시스템이 복제된 텍스트를 점수 상승 요인으로 오인했던 결과와 정반대이다. 이는 LLM이 텍스트 양보다 의미적 일관성과 목표 행동을 더 중시한다는 해석을 가능하게 한다. 반면, 역량 설명 문장이나 시나리오 재진술과 같이 내용상 무의미하지만 문맥에 맞는 삽입은 점수에 거의 영향을 미치지 않았다(|d| ≤ 0.01). 공식화된 문구는 약간의 긍정적 편향을 보였지만, 전체적인 점수 변동은 미미했다. 작성 정교도 실험에서는 철자 오류가 50%까지 삽입돼도 점수 차이는 통계적으로 유의미하지 않았다. 이는 GPT‑5.X 모델이 오류 복원에 강인함을 보여준다. 또한, 읽기 난이도를 인위적으로 높이거나 낮추어도 평균 점수 차이는 거의 없었으며, 이는 채점기가 ‘언어 숙련도’가 아닌 ‘협업·문제 해결 등 SJT 핵심 역량’에 초점을 맞추도록 설계된 결과라 할 수 있다. 오프‑토픽 실험에서는 두 가지 매칭 방식이 차이를 만들었다. 동일 역량(예: 협업)으로 매칭된 경우, 원본 응답이 해당 역량과 관련된 특징을 어느 정도 유지했기 때문에 점수가 비교적 높게 유지되었다. 반면, 전혀 다른 역량(예: 윤리성)으로 매칭된 경우, 시스템은 해당 역량에 필요한 특징이 결여된 것으로 판단하고 평균 –0.68 정도의 큰 감점을 부여했다. 이는 LLM 기반 채점기가 역량별 특징을 학습하고, 해당 특징이 결여된 응답을 효과적으로 구분한다는 증거이다. 연구는 또한 샘플링 전략, 데이터 전처리, 그리고 비용 효율성을 고려한 실험 설계 과정을 상세히 기술한다. 전체 545개의 변형 응답을 생성하는 데 API 호출 비용이 크게 발생했으며, 이를 최소화하기 위해 500개 이상의 표본이 효과적인 효과크기 추정을 위한 최소 기준임을 사전 시뮬레이션을 통해 확인하였다. 결론적으로, LLM 기반 듀얼 아키텍처 채점 시스템은 설계 단계에서 ‘구성‑관련’ 특성을 명확히 정의하고, 프롬프트와 피드백 메커니즘을 적절히 조정한다면 전통적인 자동 채점 시스템이 겪던 텍스트 길이·특정 어휘 삽입 등에 대한 취약성을 크게 완화할 수 있다. 다만, 현재 사용된 GPT‑5.X 모델은 아직 공개되지 않은 최신 버전이며, API 비용·응답 지연 등 실용적 제약이 존재한다는 점을 감안해야 한다. 향후 연구에서는 다양한 도메인·언어에 대한 일반화 검증과, 비용 효율적인 모델 경량화 방안을 모색할 필요가 있다.