서론

Transformer 아키텍처는 특히 자연어 처리에서 시퀀스 모델링에 기초적인 역할을 합니다. 그러나 주요한 한계점 중 하나는 자기 주의 메커니즘의 이차 계산과 메모리 복잡도($`O(N^2)`$)로, 이를 통해 매우 긴 시퀀스 처리가 어렵습니다. 이 문제를 극복하기 위한 주된 연구 방향은 Transformer 아키텍처 자체를 효율적으로 개선하는 것입니다. 탐구된 기술에는 희소 주의 패턴, 선형 주의 근사치, 상태 공간 모델 및 다양한 순환 구조 등이 포함됩니다. 아키텍처 효율성을 개선하려는 노력과 함께 뇌에서 영감을 받은 계산 원칙에 대한 연구가 에너지 효율성과 새로운 처리 메커니즘의 잠재력으로 인해 주목받고 있습니다. 그러나 기존 아키텍처와 마찬가지로 복잡하고 장기 종속성을 견고하게 다루면서 계산적으로 효율적이고 생물학적으로 근거를 두는 신경-영감 학습 방법을 개발하는 것은 여전히 큰 도전입니다. 이 문제를 해결하려면 순수한 뉴런 모델을 넘어서야 할 필요가 있으며, 많은 뇌에서 영감을 받은 계산 접근 방식이 주로 뉴런 활동에 초점을 맞추고 다른 중요한 세포 유형의 계산적 역할을 간과하기 때문입니다.

그 중에서 간과된 요소들 중 하나는 병리세포인 아스트로사이트입니다. 이들은 단순히 지원 기능뿐만 아니라 시냅스 전송, 플라스틱성 및 학습에 중요한 기억 과정을 조절하는 데 적극적으로 참여하고 있습니다. 그들의 시간 정보와 생물학적 회로 내의 기억 고정화를 조절하는 역할이 확립되어 있어, 아스트로사이트 기능에서 유래된 원칙은 연장된 시퀀스 처리에 내재적인 장기 종속성 문제를 해결하는 데 특히 적합하다는 전제 위에 있습니다. 그럼에도 불구하고 아스트로사이트 기반 계산적 원칙은 딥러닝에서 심각하게 미개척 상태입니다. 이 논문에서는 Recurrent Memory Augmented Astromorphic Transformer (RMAAT)를 소개합니다. 이 아키텍처는 시계열 메모리 처리와 주의 조절(아스트로사이트 단기 효과에 기반)을 위한 계산적으로 추상화된 아스트로사이트에서 영감을 받은 메커니즘을 순환 트랜스포머 프레임워크 내부에 통합합니다. 우리의 목표는 이러한 신경-글리아 원칙을 활용하여 긴 맥락 시퀀스 처리를 위한 효율적인 접근 방식을 만드는 것입니다. RMAAT의 효과성을 LRA 벤치마크에서 우수한 결과와 기준선 대비 상당한 계산적 효율성 향상으로 검증합니다. 이 논문의 나머지 부분은 다음과 같이 구성되어 있습니다: Section 2에서는 우리의 주요 기여와 RMAAT를 이전 연구에 대한 위치를 설명합니다. Section 3에서는 RMAAT 모델 아키텍처와 그 생물학적으로 영감을 받은 구성 요소를 설명합니다. Section 4에서는 실험과 결과를 제시합니다. Section 5에서는 한계점을 논의하고 논문을 마무리합니다.

관련 연구 및 주요 기여

표준 Transformer들의 ($`O(N^2)`$) 복잡성과 긴 맥락 제한에 대한 많은 연구가 있습니다. 초기 효율성을 개선하려는 노력은 희소 또는 선형 주의 근사치(예: Longformer, Reformer)에 중점을 두었습니다. 다른 방법론들은 상태 캐싱이나 압축을 통해 순환을 통합했습니다 (예: Transformer-XL, Compressive Transformer). 일부는 명시적인 메모리 토큰을 사용하여 세그먼트 간의 맥락을 전달했습니다(예: RMT, Memformer). 최근에는 상태 공간 모델(예: S4, Mamba) 기반의 연속시간 시스템과 RNN/Transformer 하이브리드(예: RetNet, RWKV, GLA)가 보유 메커니즘이나 게이팅을 활용하여 복잡한 아키텍처와 수학적 진보를 통해 강력한 결과를 달성했습니다. 그러나 긴 기간의 기억 통합과 같은 복잡한 기능에 더 깊은 생물학적 원리를 통합하고 계산 효율성을 함께 개발하는 방법을 만들기는 여전히 진행 중인 과제입니다. 별도로, 생명체에서 영감받은 컴퓨팅에서는 아스트로모픽 접근법이 아스트로사이트의 원칙을 활용하려는 시도가 있었으나 주로 주의 메커니즘에 집중했습니다. 그러나 아스트로사이트의 시간 동역학으로부터 유래된 계산적 원칙, 특히 기억 형성과 고정화와 관련된 장기 플라스틱성(LTP)을 활용하여 시퀀스 모델에서 장기 맥락 전파 문제를 해결하려는 노력은 거의 탐구되지 않았습니다. 이러한 간극을 해결하기 위해 우리의 주요 기여는 다음과 같습니다:

(i) 정제된 계산적 매크로 모델: 우리는 신경-아스트로사이트 LTP 동역학의 자세한 계산 모델에서 추출한 새로운 매크로 모델을 제안하고 활용합니다. 이는 RMAAT의 재귀적 기억 시스템의 기반입니다. (ii) 아스트로사이트 영감 메모리 메커니즘: 우리는 아스트로사이트 과정에서 영감을 받은 지속적인 메모리 토큰을 갖춘 통합된 메모리 시스템을 도입합니다. 이 시스템에는 매크로 모델로부터 유래한 새로운 기억 유지 요소가 포함되어 생물학적으로 동기화된 맥락 압축과 전파를 달성하며, 외부 관리 메모리를 의존하는 아키텍처와 크게 다릅니다. (iii) 효율적인 AMRB 학습 알고리즘: 모델의 메모리 구조를 활용한 Astrocytic Memory Replay Backpropagation (AMRB) 알고리즘을 제안합니다. 이는 표준 BPTT나 청크 기반 백프로파게이션보다 메모리 발자국과 계산 오버헤드를 크게 줄입니다.

RMAAT 모델

기본적인 계산 신경과학 모델

RMAAT의 핵심 메커니즘은 삼분면 시냅스의 계산 모델에서 유래하며, 뉴런-아스트로사이트 상호작용을 설명합니다. 우리는 다양한 시간 규모에서 작동하는 주요 플라스틱성 동역학을 모델링하고 원칙을 추상화하여 우리의 프레임워크에 통합합니다.

단기 플라스틱성 (STP): 신경 합성 조정과 공간적 맥락을 포착하기 위해, 포스트시냅틱 뉴런 $`i`$와 프리시냅틱 뉴런 $`j`$ 사이의 시냅틱 촉진($`s_{ij}`$)과 관련된 단기 아스트로사이트 과정 매개변수 ($`p^s_{ij}`$)를 모델링합니다. 그들의 동역학은 개념적으로 뉴런 동시 활성화($`\theta(x_i) \theta(x_j)`$), 아스트로사이트 조절($`\psi(p_{ij}^s)`$), 감소($`\beta, \gamma^s`$) 및 아스트로사이트 과정 사이의 결합을 반영하는 상호작용에 의해 통제됩니다. 이러한 동역학은 더 빠른 시간 규모($`\tau_s, \tau_p^s`$)에서 작동합니다.

\begin{align}
    \tau_s \frac{ds_{ij}}{dt} &\propto -\beta s_{ij} + \theta(x_i) \theta(x_j) + \psi(p_{ij}^s) \label{eq:s_ij} \\ % Placeholder label eq:s_ij
    \tau_{p}^s \frac{dp_{ij}^s}{dt} &\propto -\gamma^s p_{ij}^s + \sum_{k,l=1}^{N} T_{ijkl} \psi(p_{kl}^s) \label{eq:p_s_ij} % Placeholder label eq:p_s_ij
\end{align}

여기서 $`x_i, x_j`$는 뉴런 활동을 나타내고, $`\psi(p_{ij}^s)`$는 지역적인 아스트로사이트 조절을 나타냅니다. Equation [eq:p_s_ij]에서 합산 항은 다른 아스트로사이트 과정 활동($`p_{kl}^s`$, 뉴런 쌍 $`k,l`$과 관련)이 특정 과정 $`p^s_{ij}`$에 미치는 영향을 포착합니다. 결합 텐서 $`T_{ijkl}`$는 시냅스 $(i, j)$와 다른 시냅스 $(k, l)$와 연결된 아스트로사이트 과정 사이의 칼슘 확산 등을 통한 강도나 유입을 나타냅니다. 이러한 유입의 크기는 상호 작용하는 시냅스 내에서 아스트로사이트 도메인 내부의 상대적 공간 위치와 거리에 따라 결정됩니다. 따라서 $`p^s_{ij}`$의 동역학은 이러한 유입 패턴으로 인코딩된 공간 맥락에 의해 조절됩니다. 이러한 공간적으로 종속적인 상호 작용이 로컬 아스트로사이트 동역학에 미치는 영향은 RMAAT의 주의 메커니즘 내에서 상대적 위치 정보를 계산하는 생물학적 매핑을 제공합니다 (다음 섹션에서 자세히 설명).

장기 플라스틱성 (LTP): 시간 정보와 기억 고정화를 조절하는 더 느린 과정을 모델링하기 위해, 장기 아스트로사이트 과정 매개변수($`p^l_{ij}`$)를 고려합니다. 이 변수는 지속적인 시냅틱 활동($`s_{ij}`$)의 효과를 크게 더 오래된 시간 규모 ($`\tau_p^l > \tau_p^s`$)에서 통합하며, 종류의 누적 기억 흔적을 형성합니다.

\begin{equation}
    \tau_{p}^l \frac{dp_{ij}^l}{dt} \propto -\gamma^l p_{ij}^l + \kappa(s_{ij}) \label{eq:p_l_ij} % Placeholder label eq:p_l_ij
\end{equation}

Equation [eq:p_l_ij]로 표현되는 동역학은 장기 시간 규모에서 시냅틱 역사($`s_{ij}`$)를 통합하고 $`p^l_{ij}`$ 변수를 통해 제공하는 개념적 기반을 형성합니다. 특히, 이러한 LTP 동역학에서 포착된 원칙은 계산적 Macro Model (기여 1)으로 정제되어 우리 Astrocyte-Inspired Memory Mechanism (기여 2)의 설계에 정보를 제공하며, 메모리 토큰을 위한 맥락 압축을 위해 기억 유지 요소가 도출되었습니다. 이러한 메모리 시스템의 상세한 유도, 특성적인 동작을 보여주는 시뮬레이션 결과 및 구현은 Section 3.3에서 제시됩니다.

이 방정식들은 기본 연구 작업에서 유래된 핵심 개념 모델을 나타냅니다 . 전체 모델 세부 사항, 매개변수 및 $`x_i, x_j`$를 통제하는 기본적인 신경 동역학은 Appendix 6에서 제공됩니다. 후속 섹션에서는 RMAAT가 이러한 원칙을 계산 아키텍처로 전환하는 방법에 대해 자세히 설명합니다.

핵심 아키텍처 및 처리

RMAAT은 순환 Transformer 아키텍처를 사용하여 시퀀스를 처리하며, 세그먼트 처리와 상대 위치의 공간 인코딩을 포함한 생물학적으로 영감을 받은 주의 메커니즘을 기반으로 합니다.

세그먼트 처리 및 생물학적 기억 토큰

표준 자기 주의가 긴 시퀀스에 대한 이차 복잡성 문제를 일으키는 것을 해결하기 위해 RMAAT은 세그먼트 처리 접근법을 채택합니다. 입력 시퀀스는 관리 가능한 최대 길이 $`N_{seg}`$로 나뉘어져 있는 연속적인, 겹치지 않는 세그먼트로 분할됩니다. 핵심 RMAAT 계층은 이러한 세그먼트를 순차적으로 처리하며 전체 시퀀스를 한 번에 작업하지 않습니다. 이러한 세그먼트 간의 장기 종속성 모델링을 가능하게 하는 주요 요소는 전용 Memory Tokens입니다. 생물학적 체계, 특히 아스트로사이트 네트워크가 길게 지속된 정보를 유지하고 통합할 수 있는 능력(Section 3.1에서 추상화됨)을 반영해, 이러한 메모리 토큰은 지속적이고 변화하는 상태를 제공합니다. 처리 세그먼트 $`t`$의 시작 시점에 있는 $`M`$ 개의 메모리 토큰 집합은 $`mem_t`$로 표시됩니다. 이 토큰들은 실제 입력 토큰 $`x_t`$와 함께 (Section 3.2.2 및 Section 3.2.3에서 설명된) 세그먼트 내에서 처리됩니다. 세그먼트 $`t`$를 처리한 후 메모리 토큰에 해당하는 출력 표현은 업데이트된 메모리 상태, 즉 $`mem_{t+1}`$,을 형성하고 이를 다음 세그먼트 $`t+1`$의 입력 메모리로 전달합니다. 이러한 순환 유동은 개념적으로 Figure [fig:rmaatt_unroll]에서 설명되며, 메모리 토큰 내의 맥락 정보를 세그먼트 간에 전파합니다. 이 메커니즘은 RMT이나 Memformer와 같은 접근법과는 달리 외부적으로 관리되는 메모리 메커니즘이나 특정 아키텍처 추가를 통한 메모리 업데이트에 의존하지 않습니다. RMAAT에서는 이러한 메모리 토큰의 업데이트가 계산적 매크로 모델(Section 3.3에서 상세히 설명)으로부터 유래된 생물학적으로 영감을 받은 동역학에 내재적으로 연결되어 있어, 메모리 관리를 위한 통합되고 계산적으로 구별되는 접근 방식을 목표로 합니다.

아스트로모픽 주의 메커니즘

RMAAT이 처리하는 각 세그먼트 내에서(Section 3.2.1 참조) 표준 계산적으로 비싼 $`O(N^2)`$ 자기 주의는 효율적인 Astromorphic Attention 메커니즘으로 대체됩니다. 이 설계는 삼분면 시냅스의 계산 모델에서 영감을 받고 특히 Section 3.1에서 설명된 STP 동역학 원칙을 추상화합니다. 이를 계산적으로 구현하기 위해, 우리는 입출력 레이어와 은닉 레이어를 포함하는 2계층 뉴런-아스트로사이트 네트워크 구조(Section [fig:astromorphic_transformer_depiction] 오른쪽 참조)를 추상화적으로 개념화합니다. 이 구조 내에서 메커니즘은 Write와 Read라는 연속적인 모드로 작동합니다(Section 7 참조).

$`d`$를 모델의 임베딩 차원(입력/출력 레이어 크기)으로, $`m`$을 은닉 레이어 크기로 둡시다. 특정 세그먼트 $`t`$에 대해 입력 $`X`$는 시퀀스 토큰($`x_t`$) $`N_{seq}`$개와 메모리 토큰($`mem_t`$) $`M`$ 개가 연결되어 있으며, 총 $`N = N_{seq} + M`$ 개의 토큰이 세그먼트 내에서 처리됩니다. 먼저 결합된 입력 토큰 $`X \in \mathbb{R}^{N \times d}`$가 Keys($`K`$)로 선형적으로 투영됩니다.