선형 입력에서 계층 구조 학습: 기능어가 제공하는 통계적 단서

초록

이 논문은 기능어가 고빈도, 구조적 예측 가능성, 구 경계 정렬이라는 세 가지 통계적 특성을 통해 선형 텍스트에서 계층적 문법을 학습하는 데 어떤 역할을 하는지 탐구한다. 186개 언어의 UD 코퍼스를 분석해 이 특성이 보편적임을 확인하고, 위키피디아 텍스트를 변형해 기능어의 빈도·구조·경계 정보를 조절한 뒤 GPT‑2 Small 모델을 학습시켰다. 결과는 빈도와 구조적 연관성이 학습에 가장 크게 기여하고, 경계 정렬은 부수적 효과만을 보이며, 동일한 성능이라도 내부 메커니즘은 다를 수 있음을 보여준다.

상세 분석

본 연구는 기능어가 언어 습득에서 핵심적인 통계적 신호로 작용한다는 가설을 세 단계로 검증한다. 첫 번째 단계는 Universal Dependencies(UD) 코퍼스를 활용한 대규모 횡단언어 분석이다. 186개 언어에 대해 폐쇄형 품사(DEТ, ADP, CC, SCONJ, AUX)를 기능어로 정의하고, 유형 비율과 토큰 비율을 동시에 측정한다. 결과는 대부분의 언어에서 기능어가 전체 어휘 대비 적은 유형을 차지하지만 토큰 비율은 현저히 높아 ‘고빈도·저다양성’ 패턴을 보인다. 두 번째 단계는 구문적 선택성 검증이다. 각 기능어 품사의 의존관계 주변 태그 분포를 엔트로피로 정량화했을 때, 기능어의 엔트로피가 내용어보다 일관되게 낮아 특정 구문 구조를 강하게 예측한다는 점을 확인한다. 세 번째 단계는 구 경계와의 정렬 정도를 조사한다. 기능어가 구의 시작·끝에 위치하는 비율이 높은 언어일수록 이 특성이 보편적이다.

이러한 통계적 특성을 바탕으로 실험적 조작을 설계한다. 위키피디아 텍스트를 다섯 가지 빈도 조건(NOFUNCTION, STANDARD, FIVE, MORE, FIVEFUNCTION)과 세 가지 구조 조건(PHRASEDEPENDENCY, BIGRAMDEP, RANDOMDEP), 두 가지 경계 조건(ATBOUNDARY, WITHINBOUNDARY)으로 변형한다. 변형 과정에서 전체 토큰 수와 문장 길이 분포는 유지해 학습 난이도 차이를 최소화하였다. 각 변형된 코퍼스마다 전용 토크나이저를 학습시키고, GPT‑2 Small 모델을 10 epoch, 3 seed로 학습시켰다. 평가 지표로는 변형된 BLiMP 테스트셋을 사용했으며, 함수어가 핵심이 되는 최소쌍을 제외하고 동일한 평가 항목을 유지했다.

실험 결과는 다음과 같다. ‘STANDARD FUNCTION’ 조건이 가장 높은 정확도를 기록했으며, 빈도 감소(NOFUNCTION)와 구조적 무작위(RANDOMDEP)는 각각 평균 10%~30%의 성능 저하를 초래했다. 특히 BIGRAMDEP는 구조적 예측 가능성을 크게 약화시켜 빈도만 유지해도 학습 효율이 급감함을 보여준다. 경계 정렬을 위배한 WITHINBOUNDARY 조건은 성능 저하가 상대적으로 작아(5% 이하) 빈도·구조보다 부수적 요인임을 시사한다. 또한 ‘FIVE FUNCTION’(기능어 종류를 극단적으로 축소)과 ‘MORE FUNCTION’(기능어 종류를 과도하게 확대) 모두 ‘Goldilocks’ 효과를 나타냈다. 기능어가 충분히 빈번하면서도 적절한 다양성을 유지해야 최적 학습이 가능함을 의미한다.

내부 메커니즘 분석을 위해 어텐션 프로빙과 기능어 마스킹(ablation) 실험을 수행했다. 동일한 BLiMP 성능을 보인 모델이라도 어텐션 가중치가 기능어에 집중되는 정도가 크게 달랐으며, 구조적 의존성을 학습한 모델은 기능어 마스크 시 급격히 성능이 떨어지는 반면, 경계 정렬에 의존한 모델은 마스크에 비교적 강인했다. 이는 ‘유사한 행동 결과가 서로 다른 내부 표현을 통해 도출될 수 있다’는 중요한 결론을 뒷받침한다.

전체적으로 이 논문은 (1) 기능어의 세 가지 통계적 특성이 전 세계 언어에 보편적으로 존재함을 실증하고, (2) 신경 언어 모델이 이러한 특성을 활용해 계층적 구문을 학습한다는 것을 실험적으로 입증하며, (3) 그 중에서도 빈도와 구조적 연관성이 가장 결정적인 역할을 하고, (4) 동일한 외적 성능이라도 내부 학습 전략은 다양할 수 있음을 보여준다. 이러한 발견은 인간 언어 습득 이론뿐 아니라, 언어 모델 설계 시 기능어를 어떻게 활용할지에 대한 실용적 가이드라인을 제공한다.