계층적 데이터 생성이 언어 모델 메커니즘을 통합한다

초록

본 논문은 확률적 문맥 자유 문법(PCFG)으로 만든 합성 코퍼스를 이용해, 계층적 데이터 생성 과정이 Transformer 기반 언어 모델에서 나타나는 유도 헤드, 함수 벡터, 하이드라 효과와 같은 메커니즘 현상을 동시에 설명한다는 가설을 검증한다. 실험 결과, 계층 구조를 포함한 PCFG 코퍼스는 이러한 현상을 빠르게 유도하며, 실제 대규모 모델(OLMo‑1B)과도 유사한 학습 궤적을 보인다.

상세 분석

이 연구는 언어 모델 해석에 있어 ‘데이터 생성 과정’이라는 세 번째 축을 명시적으로 도입함으로써 기존 연구들의 한계를 극복한다. 저자들은 두 종류의 합성 데이터 파이프라인을 설계했는데, 하나는 Zipf‑분포 기반 N‑gram 모델로 순차적이고 평면적인 토큰 의존성만을 제공하고, 다른 하나는 계층적 구조와 재귀를 갖는 PCFG이다. 두 파이프라인은 어휘 크기·토큰 빈도·문장 길이 등 표면 통계가 거의 동일하도록 맞추어, 차이점이 순수히 구조적 복잡성에 기인함을 보장한다.

학습 실험에서는 동일한 Transformer 아키텍처와 최적화 설정을 적용해 각각의 코퍼스에 대해 모델을 훈련시켰다. 주요 메커니즘 현상은 다음과 같이 정의·측정되었다.

1. k‑order 유도 헤드: 동일한 서브시퀀스가 재등장할 때, 특정 헤드가 이전 위치를 주목해 다음 토큰을 복제하는 현상. 저자들은 k=1~10까지의 순서에 대해 헤드별 어텐션 점수를 평균화해 정량화했으며, PCFG 모델에서는 6k 단계 이후 급격히 점수가 상승했다. 반면 N‑gram 모델은 전혀 유도 헤드를 형성하지 못했다.

2. 함수 벡터: 몇 차례의 샷 컨텍스트를 통해 특정 입력‑출력 매핑을 내재화하는 벡터 표현. 저자들은 ‘패치’ 실험을 통해 함수 벡터를 추출·삽입하고, 목표 토큰 로그잇 증가량을 측정했다. PCFG 모델은 6k 단계부터 급격히 개선되었으며, 이는 유도 헤드와 동시 발생한다는 점에서 두 현상이 동일한 계층적 신호에 의해 촉발된다는 가설을 뒷받침한다.

3. 하이드라 효과: 특정 레이어를 제거했을 때, 뒤이어오는 레이어가 손실을 보상해 예측 성능이 오히려 상승하는 현상. 저자들은 레이어 ℓ‑m을 0으로 마스킹하고, ℓ에서의 로그잇 차이를 ∆̄(ℓ)ᵐ으로 정의했다. PCFG 모델은 훈련 초기에 약간의 보상만 보였으나, 6k 이후부터는 OLMo‑1B와 유사하거나 그보다 강한 하이드라 효과를 나타냈다. N‑gram 모델은 전혀 보상 현상이 관찰되지 않았다.

이러한 결과는 ‘계층적 잠재 구조’가 모델 내부 표현을 트리 형태의 거리 공간으로 정렬하도록 유도한다는 구조적 탐사(probe) 실험과도 일치한다. PCFG 모델의 내부 표현을 선형 변환 B로 투영했을 때, 실제 파스 트리와 최소 신장 트리 간의 UUAS 점수가 크게 상승했으며, 이는 모델이 데이터의 계층적 구문 정보를 학습하고 있다는 강력한 증거다.

이론적 측면에서 저자들은 계층적 데이터가 손실 함수의 기울기 흐름을 특정 레이어에 집중시키고, 이는 유도 헤드와 함수 벡터 같은 로컬 복제 메커니즘과, 하이드라 효과와 같은 글로벌 보상 메커니즘을 동시에 촉발한다는 수학적 스케치(gradient flow analysis)를 제시한다. 특히, 재귀적 비터미널 확장은 모델이 “패턴‑복제”와 “패턴‑추론”을 구분해 학습하도록 만들며, 이는 기존의 마코프 기반 가정으로는 설명할 수 없는 현상이다.

결론적으로, 이 논문은 (1) 계층적 데이터 생성이 메커니즘 현상의 동시 발생을 설명하는 핵심 변수이며, (2) PCFG 기반 합성 코퍼스가 실제 웹 규모 텍스트와 유사한 학습 역학을 재현할 수 있음을 입증한다는 두 가지 주요 기여를 한다. 이는 향후 대규모 언어 모델 해석 연구에서 데이터 설계가 얼마나 중요한지를 강조하고, 복잡한 메커니즘을 통합적으로 분석할 수 있는 실험적·이론적 프레임워크를 제공한다.