문장 이해의 정보이론적 저장 비용 측정

초록

본 논문은 작업 기억에 부과되는 저장 부담을 문법 기반이 아닌 정보이론적 관점에서 정량화한다. 이전 단어들이 미래 구문에 제공하는 정보량을 기대점수형 PMI(예상 상호정보)로 정의하고, 이를 사전학습된 BERT 모델을 이용해 추정한다. 제안된 저장 비용은 연속적이며 비트 단위로 측정된다. 저자는 (i) 중심 삽입과 오른쪽 전개 구조, (ii) 주어·목적 관계절에서의 처리 비대칭을 재현하고, (iii) 기존 문법 기반 저장 비용과 양의 상관관계를 보이며, (iv) 두 개의 대규모 자연스러운 독서 데이터셋에서 전통적 서프라이즈와 통합 비용을 넘어 독서 시간 변동을 예측함을 실증한다.

상세 분석

이 연구는 작업 기억의 제한적 용량이 실시간 문장 이해에 미치는 영향을 정량화하기 위해 기존의 문법 기반 저장 비용을 대체할 정보이론적 측정법을 제안한다. 핵심 아이디어는 “이전 단어가 미래 단어에 대해 제공하는 정보량”을 기대점수형 PMI, 즉 Predictive Potential(P_pred)로 정의하는 것이다. 수식 (2)와 (3)에서 제시된 조건부 PMI는 특정 단어 w_i가 남은 문맥 w