트랜스포머 기반 자동 채점 모델의 성능을 높이는 컨텍스트의 힘

초록

본 연구는 트랜스포머 기반 자동 에세이 채점(AES) 모델의 성능을 개선하기 위해 다양한 컨텍스트 정보를 활용하는 방법을 탐구합니다. ASAP-AES 데이터셋을 사용해 상대적 순위, 주제 프롬프트, 담화 구조, 논증 구성 요소 등의 컨텍스트를 모델에 주입했을 때, 특히 여러 컨텍스트를 결합한 방식이 기존 트랜스포머 모델을 크게 능가하는 성능(QWK 0.8697)을 보였습니다. 이 방법은 모델 구조와 독립적으로 적용 가능한 유연한 개선 기법입니다.

상세 분석

본 논문의 기술적 핵심은 트랜스포머 기반 AES 모델의 입력 계층을 다양한 의미 수준의 컨텍스트로 풍부하게 만드는 ‘컨텍스트 증강’ 방법론에 있습니다. 연구자는 네 가지 주요 컨텍스트 유형을 체계적으로 분석 및 통합했습니다. 첫째, ‘상대적 컨텍스트’로, Wang et al.의 Margin Ranking 손실 함수를 차용하여 배치 내 에세이들의 점수 순위 정보를 모델에 제공함으로써 절대적 점수 예측보다 상대적 평가 능력을 향상시켰습니다. 둘째, ‘프롬프트 컨텍스트’는 에세이의 주제를 모델에 명시적으로 제공합니다. 이는 에세이 내용과 평가 기준이 프롬프트에 종속적이라는 점을 반영하여, 모델이 주제별로 적합한 표현과 논리를 평가할 수 있도록 돕습니다. 셋째, ‘구조적 컨텍스트’는 RST 담화 트리뱅크를 활용한 Elementary Discourse Unit(EDU)과 Argument Annotated Essays를 활용한 Argument Component(AC) 정보를 활용합니다. EDU는 문장 내 최소 담화 단위로, 글의 논리적 흐름과 결속 구조를 나타냅니다. AC는 주장, 근거, 반박 등 논증의 기본 구성 요소를 식별합니다. 연구자는 BiLSTM-CRF 모델을 사용해 원본 에세이 텍스트에서 EDU와 AC 스팬을 예측하는 보조 태스크를 학습시켜, 이 구조적 레이블을 메인 AES 태스크의 컨텍스트로 활용했습니다. 마지막으로, ‘특징 기반 컨텍스트’로 에세이 길이(단어 수), EDU/AC 개수 등 표면적 통계치를 사용했습니다. 이는 ASAP 데이터셋에서 길이와 점수가 상관관계가 있다는 선행 연구를 반영한 것입니다. 가장 효과적인 모델은 프롬프트, AC, 특징 기반 컨텍스트를 결합한 ‘복합 컨텍스트 증강’ 접근법이었습니다. 이 모델은 8개 프롬프트 전체를 함께 학습시 전체 평균 QWK 0.823, 프롬프트별 개별 학습시 평균 QWK 0.8697을 기록하여 기존 트랜스포머 SOTA 모델(R2-BERT)을 크게 앞섰습니다. 비록 CNN-RNN 기반의 최신 모델(DeLAES)에는 평균 3.83% 뒤졌지만, 8개 프롬프트 중 3개에서는 오히려 우수한 성능을 보였습니다. 본 연구의 가장 중요한 공헌은 이 성능 향상이 ‘아키텍처 개선’과 직교한다는 점입니다. 즉, 컨텍스트 증강은 모델 구조에 구애받지 않고 입력 데이터를 풍부하게 하는 범용 기술로, DeLAES와 같은 다른 우수 아키텍처에도 적용 가능한 상위 호환 개선책입니다.