텍스컴프 학생 글쓰기 복잡도 분석 도구

초록

TexComp은 학생 에세이와 논문을 대상으로 텍스트 복잡도를 정량적으로 평가하기 위해 개발된 소프트웨어이다. 가독성 지표와 어휘 다양성 지표를 신중히 결합하고, 영어 사용 학생들의 두 대규모 코퍼스(USE, BAWE)를 통해 도구의 타당성을 검증하였다.

상세 분석

TexComp은 기존의 가독성 공식(Flesch‑Kincaid, SMOG 등)과 어휘 다양성 지표(TTR, MTLD 등)를 그대로 적용하는 것이 학생 글쓰기 평가에 부적절할 수 있다는 점을 출발점으로 삼는다. 첫째, 가독성 공식은 주로 일반 독자군을 대상으로 설계돼 있어, 학술적 목적이나 특정 학문 분야의 전문 용어 사용을 과소평가한다. 둘째, 어휘 다양성 지표는 텍스트 길이에 민감하게 반응하는데, 학생 과제는 보통 500~3000단어 정도로 길이 편차가 크다. 이러한 문제를 해결하기 위해 저자들은 ‘보수적 적용(cautious application)’이라는 전략을 채택했다. 구체적으로는 텍스트 길이에 따라 가중치를 조정하고, 복합 지표를 도출하기 위해 표준화된 z‑score 변환을 적용했다. 또한, 복잡도 평가를 두 단계로 나누어 첫 번째 단계에서는 기본 가독성 점수를 산출하고, 두 번째 단계에서는 어휘 다양성 점수를 보정한다.

평가에서는 영국 대학의 두 코퍼스인 USE(Undergraduate Student Essays)와 BAWE(British Academic Written English)를 사용했다. 두 코퍼스는 학년·전공·과제 유형이 다양해, 도구의 일반화 가능성을 검증하기에 적합하다. 실험 결과, TexComp이 제공하는 복합 점수는 인간 평가자(전문 교원)가 매긴 ‘텍스트 난이도’와 높은 상관관계를 보였으며, 특히 학년이 상승함에 따라 점수가 일관되게 증가하는 경향을 확인했다. 또한, 기존 단일 가독성 지표와 비교했을 때, TexComp은 오탐(false positive) 비율을 현저히 낮추어 평가 신뢰성을 높였다.

한계점으로는 영어 외 다른 언어에 대한 적용 가능성이 아직 검증되지 않았으며, 현재는 문법적 오류나 논리적 일관성 같은 질적 요소를 반영하지 못한다는 점을 들었다. 향후 연구에서는 다언어 확장과 함께 의미론적 분석을 결합해 보다 포괄적인 텍스트 품질 평가 프레임워크를 구축하고자 한다.