메모리와 학습을 동시에 관리하는 팔림프사: 주의 기반 모델의 메타가소성 혁신

초록

본 논문은 고정 크기 주의 메모리를 갖는 선형 트랜스포머와 상태공간 모델의 한계를 메타가소성이라는 베이지안 프레임워크로 극복한다. 저자들은 주의 상태마다 중요도와 플라스티시티를 결합한 두 단계 업데이트를 제안하고, 이를 Palimpsa라는 새로운 어텐션 블록으로 구현한다. Palimpsa는 기존 모델을 메타가소성 버전으로 변환해 기억 용량을 크게 확대하고, MQAR 및 상식 추론 벤치마크에서 일관된 성능 향상을 보인다.

상세 분석

Palimpsa는 인컨텍스트 학습(ICL)을 연속학습 문제로 재정의하고, 베이지안 메타가소성(Bayesian metaplasticity) 원리를 적용한다. 구체적으로 각 어텐션 상태 S는 평균 μ와 분산 σ²를 갖는 가우시안 분포로 모델링되며, 중요도 파라미터 β와 입력 의존적 forgetting gate αₜ=exp(−A·dₜ) 로 플라스티시티를 조절한다. 이때 αₜ는 과거 데이터의 가중치를 1/Nₜ 비율로 감소시키는 역할을 하여 ‘catastrophic remembering’을 방지한다. 저자들은 변분 추론(VI)을 이용해 정확한 사후분포를 구하고, 이를 대각 공분산 근사로 구현해 연산 비용을 선형으로 유지한다. 기존의 게이트형 선형 어텐션 모델(예: Linear Transformer, Gated State‑Space) 은 특수한 사후 근사와 고정된 플라스티시티 가정에 해당함을 증명함으로써 Palimpsa가 이들의 일반화임을 보인다. 또한 Mamba2는 forgetting이 지배적인 경우로, Palimpsa의 파라미터를 특정값으로 고정하면 Mamba2와 동일한 동작을 얻는다. 실험에서는 Deltanet 기반 Palimpsa‑D와 Mamba2 기반 Palimpsa‑M 두 변형을 사용해 메모리 크기(N) 를 다양하게 조절했으며, MQAR에서 기존 게이트형 모델 대비 4~7%p 향상, Commonsense Reasoning(예: Winogrande, ARC)에서도 유의미한 정확도 상승을 기록했다. 특히 메모리 용량이 제한된 환경(예: edge 디바이스)에서 플라스티시티를 동적으로 조절함으로써 장기 의존성 학습이 가능한 점이 큰 강점이다.