측정론적 연관 기억을 구현하는 트랜스포머: 통계적 분석과 최소극대 최적성

초록

이 논문은 토큰들의 분포를 확률 측정으로 모델링하고, 소프트맥스 어텐션을 학습된 연산자로 해석한다. 저자는 혼합 측정 ν 에서 쿼리 x₍q₎ 가 지정하는 문서 i* 의 구성요소 μ^{(i*)} 를 정확히 회상하고, 이를 기반으로 MLP가 목표값을 예측하도록 하는 ‘회상‑예측’ 파이프라인을 제시한다. 측정 공간에 대한 RKHS 가정(고속 멀쩡한 고유값 감쇠 λ_j≈e^{-c j^α}) 하에, 깊이‑2 트랜스포머+MLP가 ERM을 통해 최적화될 때, 위험은 exp(−Θ((log n)^{α/(α+1)})) 수렴한다. 동일한 지수의 최소극대 하한을 증명해 이 수렴 속도가 차원‑독립적으로 최적임을 보여준다.

상세 분석

본 연구는 트랜스포머의 어텐션 메커니즘을 “측정론적 연관 기억”이라는 새로운 수학적 틀에 매핑한다. 기존의 시퀀스‑레벨 분석과 달리, 저자는 각 문서를 고정된 문서 특징 v^{(i)}와 토큰 내용 z 의 결합으로 표현하고, 이를 토큰 분포 μ^{(i)}v = δ{v^{(i)}}⊗μ^{(i)}0 이라는 확률 측정으로 정의한다. 전체 데이터셋은 I개의 문서 측정의 균등 혼합 ν = (1/I)∑{i=1}^I μ^{(i)}_v 로 나타내며, 이는 “무한히 긴 문서”의 토큰 분포와 동등하다.

쿼리 x_q 는 특정 문서 i* 의 특징 v^{(i*)}를 제로 패딩한 형태로 주어지며, 목표 함수 F_* 은 ν 와 x_q 의 쌍을 입력받아 μ^{(i*)}0 와 x_q 만을 이용해 값을 산출한다. 즉, F* 은 두 단계로 분해된다: (1) ν 속에서 쿼리와 일치하는 문서 측정 μ^{(i*)}_0 를 회상(recall)하고, (2) 회상된 측정과 쿼리를 입력으로 하여 스칼라를 예측(predict)한다.

통계적 분석을 위해 저자는 토큰 내용 공간 X_0 에 정의된 양의 정부호 커널 K 의 Mercer 전개를 이용한다. 핵심 가정은 고유값이 λ_j≈exp(−c j^α) 와 같이 지수적으로 감소한다는 것으로, 이는 Gaussian‑type 커널이 제공하는 매우 부드러운 함수 공간을 의미한다. 이러한 “효과 차원”이 작아짐에 따라, 측정 밀도 p_{μ^{(i)}_0} 는 RKHS ℋ_0 내의 고정 반경 구에 포함된다.

어텐션 연산은 소프트맥스 가중치를 통해 측정 ν 에 대한 적분 연산 A_θ(ν, x_q) = ∫ K_θ(x_q, x) dν(x) 으로 모델링된다. 여기서 K_θ 는 학습 가능한 파라미터 θ 에 의해 정의된 스칼라 커널이며, 소프트맥스는 “스파이크” 형태의 가중치를 생성해 특정 μ^{(i*)}0 에 집중한다. 저자는 깊이‑2 트랜스포머(어텐션 + 선형 변환)와 뒤에 이어지는 MLP가 충분히 풍부한 함수 클래스를 형성함을 보인다. 특히, MLP는 연속적인 함수형 \tilde F* 를 임의의 정밀도로 근사할 수 있다는 기존 결과(Mhaskar & Hahm, 1997 등)를 활용한다.

학습은 경험 위험 최소화(ERM)로 수행되며, 가정된 스무스 커널과 분리된 문서 특징(⟨v^{(i)}, v^{(j)}⟩≤0, I≤d_1) 하에, 표본 수 n 에 대한 일반화 위험은

R( \hat F ) − R(F_*) ≤ C · exp(−c · (log n)^{α/(α+1)})

와 같은 하위 다항식 형태로 수렴한다. 여기서 C, c 는 문제의 상수이며, 핵심은 고유값 감쇠 지수 α 가 수렴 속도에 직접적인 영향을 미친다는 점이다.

하한 측면에서는 동일한 가정 하에 최소극대 위험을 고려한 경우, 어떤 추정기라도 동일한 지수 (α/(α+1)) 를 초과하는 속도로 위험을 감소시킬 수 없음을 보인다. 즉, 제시된 트랜스포머+MLP 구조는 이론적으로 최적이며, 상수 차이만 존재한다.

이러한 결과는 (i) 무한 차원의 측정 입력을 다루는 능력, (ii) 소프트맥스 어텐션이 학습 가능한 “콘텐츠‑주소 지정” 메모리 역할을 수행함, (iii) 고차원 데이터에서도 차원 독립적인 일반화 보장을 제공함을 의미한다. 실용적으로는 매우 긴 문맥(예: 대규모 텍스트 코퍼스)에서 특정 문서나 토픽을 정확히 회상하고, 그에 기반한 예측을 수행하는 현대 LLM의 핵심 메커니즘을 수학적으로 정당화한다.