오스트리아 A레벨 독일어 에세이 자동 채점, 대형 언어 모델의 한계와 가능성

초록

본 논문은 오스트리아 A레벨 독일어 시험에서 101개의 익명화된 에세이를 대상으로 네 가지 오픈소스 대형 언어 모델(DeepSeek‑R1 32B, Qwen3 30B, Mixtral 8×7B, Llama 3.3 70B)을 활용해 루브릭 기반 자동 채점(AES)을 시도한다. 다양한 프롬프트 설계와 Retrieval‑Augmented Generation(RAG) 컨텍스트 제공 방식을 비교했으며, 최고 성능에서도 인간 채점자와의 일치율은 서브‑디멘션 40.6%, 최종 점수 32.8%에 불과했다. 결과는 현재 수준의 오픈 모델만으로는 실제 교육 현장에 적용하기엔 정확도가 부족함을 보여준다.

상세 분석

이 연구는 독일어 A레벨 시험이라는 특수한 교육 환경을 선택함으로써, 기존 영어 중심 AES 연구와 차별화된 기여를 시도한다. 데이터는 SRDP가 제공한 173개의 시험지 중 OCR 품질과 손글씨 문제를 제외하고 101개의 디지털 텍스트만을 사용했으며, 이는 실험 재현성을 높이는 동시에 실제 채점 상황에서 발생할 수 있는 잡음을 반영한다. 모델 선택은 파라미터 규모와 독일어 이해 능력을 기준으로 이루어졌으며, 특히 Llama 3.3 70B는 다른 모델에 비해 전반적인 성능이 우수해 상세 분석의 주 대상이 되었다.

프롬프트 설계는 크게 두 축으로 나뉜다. 첫 번째는 ‘베이스라인’으로, 시스템 프롬프트에 루브릭과 JSON 출력 스키마만을 제공하고 학생 텍스트를 직접 입력한다. 두 번째는 RAG 기반 컨텍스트 제공으로, (1) Best‑Average‑Worst 고정 예시, (2) 가장 유사한 과거 샘플, (3) 각 등급을 골고루 포함한 Range‑of‑Examples 세 가지 방식이 실험되었다. 특히 Best‑Average‑Worst는 각 등급(1,3,5)을 대표하는 텍스트를 고정 제공함으로써 모델이 채점 스케일을 명확히 인식하도록 돕는다.

Few‑shot 프롬프트와 체인‑오브‑쓰(Chain‑of‑Thought, CoT) 적용도 시험되었다. 모델은 자신이 제시한 점수를 피드백으로 받아 수정하는 ‘turn‑based’ 방식으로 반복 학습했으며, 이 과정에서 가장 안정적인 결과를 보인 것은 Best‑Average‑Worst 컨텍스트와 3‑step 순차적 텍스트 제공(좋은→보통→나쁜) 조합이었다. 그러나 CoT 지시문을 추가했을 때는 성능 향상이 미미했으며, 이는 현재 모델이 복잡한 추론보다는 패턴 매칭에 의존한다는 점을 시사한다.

평가 지표는 Quadratic Weighted Kappa(QWK)와 평균 절대 오차(MAE) 등을 사용했으며, 서브‑디멘션(내용, 구조, 스타일·표현, 언어 규칙)별 일치율은 최대 40.6%에 머물렀다. 최종 등급(1~5) 일치율은 32.8%로, 인간 채점자와의 차이가 크게 나타났다. 특히 긴 텍스트인 ‘문학 해석’ 과제에서는 모델이 구조적 요소를 파악하는 데 어려움을 보였으며, 짧은 ‘레터 투 더 에디터’ 과제에서는 상대적으로 높은 일치율을 기록했다.

한계점으로는 (1) OCR 오류와 손글씨 데이터 손실로 인한 샘플 감소, (2) 모델별 파라미터 차이와 사전 학습 데이터 편향, (3) 루브릭 해석의 다의성으로 인한 채점 기준 모호성 등을 들 수 있다. 또한, 오픈소스 모델은 상업용 GPT‑4와 같은 최신 모델에 비해 독일어 특화 능력이 떨어져, 실제 교육 현장에서 신뢰할 수 있는 점수 부여에 한계가 있다.

결론적으로, 현재 수준의 오픈 LLM은 루브릭 기반 독일어 AES에서 일정 부분 자동화를 지원할 수 있으나, 인간 교사의 보조 도구 수준을 넘어서는 정확도와 일관성을 확보하려면 추가적인 모델 튜닝, 대규모 독일어 교육 데이터 확보, 그리고 보다 정교한 프롬프트 엔지니어링이 필요하다.