스파스 어텐션 패턴의 단계적 학습 메커니즘

**1. 서론** 언어와 인지 작업은 계층적·조합적 특성을 지니며, 복잡한 개념을 이해하기 위해서는 단순한 개념을 단계적으로 습득하는 과정이 필요하다. 이러한 현상은 인간뿐 아니라 최근 딥러닝 모델, 특히 트랜스포머에서도 관찰된다. 본 논문은 이러한 “점진적 학습”을 정량적으로 분석하기 위해, 과거 위치들의 중요도가 서로 다른 고차 마코프 체인 과제를 설계하고, 트랜스포머가 이를 어떻게 학습하는지를 탐구한다. **2. 고차 마코프 체인 과제 정의** - 상태 공간 D={1,…,d}, 각 상태를 원-핫 벡터 e_i 로 표현. - 순서 길이 w, 각 시점 t에서 다음 토큰 x_{t+1} 은 과거 w개의 토큰에 대한 가중합으로 정의된 소프트맥스 분포에서 샘플링된다. - 가중합은 h개의 고정 특성 행렬 A★k (k=1…h)와 중요도 가중치 α_i 로 구성되며, I(k) 집합은 과거 위치를 서로 겹치지 않게 분할한다. - A★k 의 노름을 기하급수적으로 감소시켜 (m_k = m^{h−k}·b_0) 중요도 계층을 만든다. 이 설계는 (i) 순차적 정보 통합, (ii) 위치별 의존성, (iii) 위치별 중요도 차이를 동시에 포함한다. **3. 트랜스포머 모델 및 실험 설정** - 단일 블록 디코더 기반 트랜스포머, 헤드 수 h, 컨텍스트 길이 c∈{4,8,12}. - 입력에 위치 인코딩을 추가하고, 어텐션 매트릭스 Q_k, K_k, V_k 를 학습한다. - 손실은 전체 시퀀스에 대한 교차 엔트로피이며, 초기화는 대칭적인 정규분포로 설정한다. - 실험에서는 A★k 를 정규 직교 행렬에 스케일을 곱해 생성하고, α_i 를 균등하게 설정한다. **4. 단계적 학습 현상 관찰** - **초기 단계**: 모든 헤드가 동일한 희소 어텐션 패턴 I(1) 에 집중한다. KL 발산이 크게 감소하고, 손실이 급격히 낮아진다. - **중간 단계**: 일부 헤드가 I(2) 로 이동, 다른 헤드는 여전히 I(1) 에 머무른다. 이때 손실 감소율이 완만해지며, KL 발산이 각 패턴별로 분리되는 양상을 보인다. - **최종 단계**: 모든 헤드가 서로 다른 I(k) 를 담당, 전체 w개의 과거 위치를 완전히 활용한다. 손실이 거의 0에 수렴하고, KL 발산이 최소가 된다. 컨텍스트 길이 제한 실험(c=4,8,12)에서도 동일한 순서대로 학습이 진행됨을 확인했다. 즉, 모델은 먼저 짧은 컨텍스트(가장 중요한 위치)만을 학습하고, 이후 점차 긴 컨텍스트를 포함하도록 확장한다. **5. 이론적 모델링** - 경쟁 단계: 헤드 간 대칭 초기화와 손실의 2차 근사에 의해, 파라미터 벡터는 **동기화된** 방향으로 움직이며, 이를 **동기화 고정점**으로 모델링한다. 미분 방정식 형태는 \(\dot{w}_i = -\nabla L(w_i) + \sum_{j\neq i} \beta (w_j - w_i)\) 로, 여기서 β는 헤드 간 상호작용 강도이다. - 협력 단계: 손실 표면에 존재하는 **중간 안장점**을 통과하면서 각 헤드가 서로 다른 희소 패턴으로 탈동기화된다. 이를 비선형 미분 방정식의 **분기 현상**으로 해석하고, Lyapunov 함수와 고정점 안정성 분석을 통해 각 헤드가 독립적인 최소점에 수렴함을 증명한다. - 단계별 수렴 정리: (1) 경쟁 단계에서는 모든 헤드가 동일한 최소점에 수렴, (2) 협력 단계에서는 초기화가 안장점 근처에 있을 경우 각 헤드가 서로 다른 최소점으로 이동한다는 두 가지 정리를 제시한다. **6. 조기 종료와 정규화 효과** - 데이터 양이 적을 때는 학습이 경쟁 단계에 머무르는 경우가 많으며, 이는 모델이 “가장 중요한 위치만 복사”하는 단순 가설에 머무르게 만든다. - 조기 종료 시점이 이 단계 이전에 이루어지면, 모델은 복잡한 패턴을 학습하지 못하고 오히려 일반화 성능이 향상되는 현상이 관찰된다. 이는 조기 종료가 **암묵적 정규화** 역할을 함을 의미한다. **7. 소거 실험 (Ablation)** - 레이어 정규화, 잔차 연결, Q/K 매트릭스 분리 등을 제거한 최소 아키텍처에서도 동일한 단계적 학습이 나타났다. - 초기화 스케일을 크게 하면 헤드 간 경쟁이 더 강해지고, 작은 스케일에서는 협력 단계가 빠르게 시작한다는 추가적인 현상도 보고되었다. **8. 논의 및 의의** - 희소 어텐션 회로가 트랜스포머 내부에서 **점진적으로 형성**된다는 사실은, 복잡한 언어 구조와 알고리즘적 추론을 수행하는 메커니즘을 이해하는 데 핵심적인 통찰을 제공한다. - 경쟁‑협력 전이 모델은 기존 “헤드가 무작위로 역할을 찾는다”는 경험적 주장에 수학적 근거를 부여한다. - 조기 종료와 데이터 규모 간의 상호작용은 실무에서 작은 데이터셋에 트랜스포머를 적용할 때, 학습 스케줄을 설계하는 새로운 지침을 제공한다. - 마지막으로, 고차 마코프 체인 과제 자체가 **알고리즘적 추론**을 평가하는 벤치마크로 활용될 수 있으며, 향후 다양한 구조적 변형(예: 다중 블록, 비선형 특성 행렬)과의 확장 연구가 기대된다. **9. 결론** 본 연구는 트랜스포머가 어떻게 희소 어텐션 패턴을 단계적으로 학습하고, 경쟁에서 협력으로 전이하는지를 이론·실험적으로 입증하였다. 또한, 조기 종료가 단순 가설 클래스에 대한 암묵적 정규화 역할을 함을 밝혀, 데이터 효율적인 트랜스포머 학습 전략에 새로운 시각을 제시한다.