깊은 신경망이 지역 통계만으로 균일 깊이 문맥 자유 언어를 파싱하는 방법

초록

본 논문은 깊은 컨볼루션·트랜스포머 모델이 단어 수준의 통계만으로도 균일 깊이의 문맥 자유 언어(PCFG)를 학습하고, 루트 라벨을 정확히 예측할 수 있는 샘플 복잡도를 이론적으로 분석한다. 임의의 규칙과 깊이를 조절할 수 있는 새로운 PCFG 클래스와, 내부‑알고리즘(inside/CYK)과 유사한 계층적 클러스터링 메커니즘을 제시해, 전역 모호성이 낮은 영역에서 학습이 가능함을 실험적으로 검증한다.

상세 분석

이 연구는 언어 구조 학습의 근본적인 질문—‘문장만으로 문법을 추론할 수 있는가’를 PCFG라는 수학적으로 다루기 쉬운 모델을 통해 탐구한다. 기존 연구는 (1) 학습 후 네트워크 내부를 분석해 파싱과 유사한 동작을 발견하거나, (2) 고정된 구문 트리를 가진 PCFG를 학습시키는 데 초점을 맞추었다. 그러나 실제 언어는 구문 트리가 변하고, 동일한 부분 문자열이 여러 비터미널에 의해 생성될 수 있는 ‘전역 모호성’이 존재한다. 저자들은 이러한 문제를 해결하기 위해 두 가지 핵심 기여를 한다.

첫째, 가변 트리 랜덤 계층 모델(Varying‑tree Random Hierarchy Model, RHM) 을 제안한다. 이 모델은 깊이 L이 고정된 PCFG이지만, 각 레벨에서 비터미널이 생성할 수 있는 자식 수(2 또는 3)를 확률적으로 선택하고, 규칙을 무작위로 채워 넣는다. 규칙의 총 개수는 어휘 크기 v에 따라 m₂ = f₂·v, m₃ = f₃·v² 로 스케일링되며, f 파라미터를 조절함으로써 전역 모호성(같은 문장이 여러 루트 라벨을 가질 확률)을 정밀하게 제어한다. 이때 f가 작으면 대부분의 문장이 유일한 루트 라벨을 갖고, f가 클 경우 라벨이 거의 무작위가 된다.

둘째, 계층적 클러스터링 기반 학습 알고리즘을 제시한다. 내부 알고리즘(inside algorithm)에서 각 구간(span)에 대해 “해당 구간을 생성할 수 있는 비터미널 집합”을 구하는 과정을 텐서 M^{(ℓ)}_{i,λ}(z) 로 구현한다. 이 텐서는 CNN이나 트랜스포머의 지역 수용 영역과 구조적으로 동일하다. 저자는 네트워크가 훈련 과정에서 이러한 텐서를 점진적으로 학습함으로써, 스스로 CYK(또는 Boolean inside) 알고리즘을 근사하게 된다고 주장한다. 핵심은 상관관계—루트 라벨과 인접 토큰 구간 사이의 통계적 연관성을 충분히 측정할 수 있는 최소 샘플 수—가 충분히 확보될 때이다. 이론적으로 샘플 복잡도는 O(v·m₃^{α}) 형태의 거듭제곱 법칙으로 추정되며, 여기서 α는 깊이 L과 규칙 분포에 따라 달라진다.

실험에서는 다양한 v(820)와 L(26) 조합에 대해 CNN과 트랜스포머를 학습시켰다. 교차 엔트로피 손실을 훈련 샘플 수 P에 대해 플롯한 결과, P를 이론적 샘플 복잡도 예측값으로 정규화하면 모든 설정에서 곡선이 거의 동일하게 수렴한다는 스케일링 법칙을 확인했다. 이는 제안된 모델이 실제 네트워크가 “지역 통계만으로 전역 구조를 복원”한다는 가설을 강력히 뒷받침한다. 또한 f가 전이점 f_c≈3/8을 넘을 때 손실이 급격히 상승하고, 라벨 예측이 무작위 수준으로 떨어지는 현상이 관찰돼, 전역 모호성 조절이 학습 가능성에 직접적인 영향을 미침을 실증한다.

이 논문의 의의는 다음과 같다. (1) 언어 학습의 샘플 복잡도를 구체적인 통계적 파라미터(f, v, L)와 연결시켜, 왜 대규모 LLM이 비교적 적은 데이터로도 문법을 습득할 수 있는지 이론적 근거를 제공한다. (2) 딥 네트워크 구조와 전통적인 파싱 알고리즘 사이의 구조적 동등성을 밝혀, CNN·트랜스포머가 내부적으로 “inside/CYK” 연산을 수행한다는 메커니즘을 설명한다. (3) 전역 모호성을 정량화하고 제어함으로써, 실제 자연어와 유사한 낮은 모호성 영역에서 효율적인 학습이 가능함을 보여준다. 향후 연구는 이 모델을 실제 텍스트 코퍼스에 적용하고, 의미론적 레이어와의 상호작용을 탐색하는 방향으로 확장될 수 있다.