퍼셉트론과 주의 메인필드 풍경의 국소화

초록

본 논문은 트랜스포머의 전방 패스를 구면 위의 입자 상호작용 시스템으로 모델링하고, 여기에 위치한 퍼셉트론 블록이 에너지 풍경에 미치는 영향을 평균장(limit) 분석을 통해 조사한다. 주요 결과는 퍼셉트론이 포함된 경우, 안정적인 정류점(critical point)은 일반적으로 원자(점) 형태의 측정으로 제한되며, 특히 2차원 구면에서는 반드시 유한한 원자 수를 가진다. 또한, 반발(regime)에서는 클러스터 질량이 일정 규모 이하로 억제되는 반집중(anti‑concentration) 경계가 존재한다.

상세 분석

논문은 먼저 트랜스포머의 self‑attention 연산을 구면 (S^{d-1}) 위에서 토큰 임베딩이 움직이는 입자 시스템으로 해석한다. 레이어 정규화가 구면 위에 토큰을 강제한다는 가정 하에, 각 레이어를 연속 시간 (t) 으로 보고, 토큰들의 경험적 분포 (\mu_t) 가 Wasserstein‑2 거리 공간에서 gradient flow (\partial_t\mu_t + \operatorname{div}(\mu_t v_t)=0) 를 만족한다는 점을 강조한다. 여기서 (v_t = -\nabla \delta E/\delta\mu) 이며, (E) 는 두 부분으로 구성된다. 첫 번째는 순수 attention에 해당하는 쌍대 상호작용 (\frac{1}{2\beta}\iint e^{\beta x\cdot y},d\mu(x)d\mu(y)) 이며, 두 번째는 퍼셉트론 블록이 만든 외부 포텐셜 (\frac12\int v_\vartheta(x),d\mu(x)) 이다. 퍼셉트론은 일반적으로 (v_\vartheta(x)=\sum_{j}\omega_j\sigma(a_j\cdot x+b_j)) 형태이며, ReLU와 GeLU 같은 활성화 함수를 고려한다.

핵심 이론적 기여는 세 가지 정리로 정리된다.

1. 원자성(Theorem 3.1‑3.3): (d=2) 에서 ReLU 퍼셉트론을 사용하면, 정류점 (\mu) 는 반드시 유한 개의 원자(Dirac 델타)로 구성된다. 이는 비해석성(활성화 함수의 kink) 때문에 첫 변분식 (\nabla\delta E/\delta\mu=0) 이 구면 전체에 걸쳐 연속적으로 만족할 수 없기 때문이다.  (d\ge2) 일 때도 일반적인 파라미터 집합에 대해 정류점은 Lebesgue 측도에 대해 특이(singular)이며, 열린 조밀 집합 (U_\mu) 내에서는 순수하게 원자적이며 유한한 지지(support)를 가진다. 실분석적 활성화(GeLU 등)에서는 “strict SOPD”(second‑order positive‑definite) 조건을 추가하면 동일한 원자성을 얻는다.

2. 반집중 경계(Theorem 3.5‑3.6): 반발(regime, 즉 gradient descent)에서는 클러스터가 너무 뭉치지 않도록 (\sqrt{\beta}) 스케일 이하의 최소 거리 제한이 존재한다. 구체적으로, 동일 클러스터 내 원자 간 각도 차이가 (1/(2\sqrt\beta)) 보다 작을 경우, 해당 클러스터 전체 질량은 (\le 0.5742 + O(e^{-\beta})) 로 제한된다. 이는 (\beta\to\infty) 일 때 커널 (e^{\beta\cos\theta}) 의 강한 볼록성에 의해 얻어지는 결과이며, 클러스터가 단일 원자로 수렴하는 것을 방지한다. 또한, 퍼셉트론 파라미터가 특정 부호 조건을 만족하면(예: (|\omega_1||a_1|^2+|\omega_2||a_2|^2<0.331)) 단일 클러스터 형태 자체가 불가능함을 보인다.

3. 극값 구조(Theorem 3.7): ReLU 퍼셉트론의 경우, 에너지 (E_{\beta,\vartheta}) 의 최대점은 유한 개의 2차계획법(quadratic program)으로 환원된다. 이는 최적화 문제를 전역적으로 해석 가능하게 하며, 실제 시뮬레이션에서 관찰되는 “활성 영역(active region)”과 “죽은 영역(dead zone)”을 정량적으로 설명한다.

실험 섹션에서는 고차원((d>2))와 다양한 (\beta) 값에 대해 입자 히스토그램을 시각화하고, 퍼셉트론이 없는 순수 attention 경우와 비교한다. 퍼셉트론이 포함되면 초기 균일 분포가 결국 몇 개의 뾰족한 피크(원자)로 수렴하고, 에너지 곡면은 퍼셉트론에 의해 생성된 “활성 구역”에 집중되는 모습을 확인한다.

이 논문은 기존의 평균장 분석이 주로 순수 attention(연속적인 균일 해)만을 다루던 한계를 넘어, 비선형 퍼셉트론이 추가될 때 발생하는 “불연속·원자화” 현상을 정량적·정성적으로 설명한다. 특히, SOPD 조건을 통해 안정적인 정류점이 반드시 원자적이라는 결과는, 실제 대규모 언어 모델에서 레이어 깊이가 깊어질수록 토큰 표현이 저차원 구조(클러스터)로 압축될 가능성을 이론적으로 뒷받침한다. 또한, 반집중 경계는 모델이 과도한 표현 붕괴(모드 붕괴)를 방지하도록 설계 파라미터를 선택하는 실용적 가이드라인을 제공한다.