아랍어 에세이 자동채점의 새로운 지평: 구조화 프롬프트와 특성 중심 평가

초록

본 논문은 아랍어 자동에세이채점(AES)에서 언어 능력 특성을 세분화하여 평가하기 위한 3단계 프롬프트 설계(표준, 하이브리드, 루브릭‑가이드)를 제안한다. 제로샷·Few‑shot 설정에서 8개 LLM을 QAES 데이터셋에 적용해 Quadratic Weighted Kappa(QWK)와 신뢰구간을 측정했으며, Fanar‑1‑9B‑Instruct가 가장 높은 특성별 일치도(QWK = 0.28, CI = 0.41)를 기록했다. 특히 ‘전개(Development)’와 ‘스타일(Style)’ 같은 담화 수준 특성에서 구조화 프롬프트가 큰 향상을 보였다. 모델 규모보다 프롬프트 설계가 성능에 결정적임을 입증한다.

상세 분석

이 연구는 아랍어 교육 현장에서 흔히 겪는 데이터·도구 부족 문제를 프롬프트 엔지니어링으로 해결하고자 한다. 먼저 기존 연구를 검토하면서, 영어 AES에서는 다중 특성 점수와 프롬프트 기반 접근이 활발히 진행된 반면, 아랍어는 전체 점수나 정답 여부에만 초점이 맞춰져 왔음을 지적한다. 이러한 격차를 메우기 위해 저자들은 세 가지 프롬프트 레벨을 설계했다.

1️⃣ 표준(Standard) 프롬프트는 한 번에 모든 7개 특성을 제시하고, 모델에게 직접 점수를 부여하도록 하는 제로샷 방식이다. 이는 가장 간단하지만, 모델이 각 특성의 세부 기준을 파악하기 어려워 일관성에 한계가 있다.

2️⃣ 하이브리드(Hybrid) 프롬프트는 ‘다중 에이전트 시뮬레이션’ 개념을 차용한다. 다섯 개의 가상 평가지가 각각 조직·어휘·문법·전개·스타일 등 특정 영역에 전문화되어 점수를 매긴 뒤, 사전 정의된 매핑 규칙에 따라 최종 점수를 평균한다. 이 구조는 인간 채점자의 전문성을 모방함으로써, 모델이 한 번에 모든 정보를 처리해야 하는 부담을 줄이고, 특성별 집중도를 높인다.

3️⃣ 루브릭‑가이드(Rubric‑Guided) Few‑shot 프롬프트는 각 특성마다 상세 루브릭과 3개의 스코어드 예시(저점, 중점, 고점)를 제공한다. 모델은 이 예시와 비교해 목표 에세이를 평가하고, JSON 형태로 점수와 근거를 출력한다. 이 방식은 모델이 인간 채점 기준에 더 가깝게 정렬되도록 돕는다.

실험에서는 8개의 LLM(ChatGPT‑4, Fanar‑1‑9B‑Instruct, Jais‑13B‑Chat 등)을 선정했으며, 모두 HuggingFace에서 공개된 체크포인트를 사용했다. 데이터는 QAES(195개 아랍어 논술)로, 조직, 어휘, 스타일, 전개, 문법·맞춤법, 구조, 관련성 7가지 특성을 0‑5(관련성은 0‑2) 점수로 라벨링했다. 인간 라벨러 간의 코헨카파는 평균 0.72로, 모델 평가의 기준선으로 충분히 신뢰할 수 있다.

평가 지표는 QWK를 채택했으며, 95% 신뢰구간을 부트스트랩(1,000 반복)으로 추정했다. 결과는 다음과 같다. Fanar‑1‑9B‑Instruct가 제로샷·Few‑shot 모두에서 QWK = 0.28, CI = 0.41로 최고 성능을 보였으며, 특히 루브릭‑가이드 프롬프트에서 전개와 스타일 특성에서 QWK가 0.35 이상까지 상승했다. Qwen3‑VL도 조직·어휘·전개·문법에서 비교적 높은 일치도를 기록했지만, 전체적으로는 ‘낮음‑보통’ 수준에 머물렀다. 소형 모델(Qwen1.5, Qwen2.5, LLaMA‑2)과 ChatGPT‑4는 특성별 일관성이 낮아, 프롬프트 설계만으로는 모델 자체의 언어 이해 한계를 극복하기 어렵다는 점을 시사한다.

통계적 분석에서 각 특성별 신뢰구간이 넓게 나타난 것은 데이터 샘플이 작고, 모델마다 특성 인식 편차가 크기 때문으로 해석된다. 그러나 루브릭‑가이드가 적용된 경우 대부분의 특성에서 CI 폭이 감소했으며, 이는 프롬프트가 모델의 예측 변동성을 억제한다는 증거다.

결론적으로, 이 논문은 (1) 아랍어 AES에 특성 중심 평가를 도입한 최초의 연구이며, (2) 모델 규모보다 프롬프트 구조가 성능에 결정적 영향을 미친다는 실증적 증거를 제공한다. 또한, 하이브리드와 루브릭‑가이드 프롬프트가 특히 담화 수준 특성(전개, 스타일)에서 유의미한 향상을 가져와, 교육 현장에서 세부 피드백을 제공하는 자동 채점 시스템 설계에 실용적 가치를 부여한다. 향후 연구는 더 큰 규모의 아랍어 데이터셋 구축, 프롬프트 자동 최적화, 그리고 인간‑모델 협업 하이브리드 채점 체계 개발을 통해 현재의 한계를 보완할 수 있을 것이다.