메모리 캐싱으로 성장하는 RNN

초록

본 논문은 순환 신경망(RNN)의 고정 메모리 한계를 극복하기 위해 “Memory Caching(MC)”이라는 기법을 제안한다. 입력 시퀀스를 여러 구간으로 나누고 각 구간의 은닉 상태를 체크포인트로 저장함으로써, RNN이 실제로는 전체 길이에 비례하는 메모리를 활용하도록 만든다. MC는 잔차 메모리, 게이트 기반 잔차, 메모리 수프, 희소 선택 캐싱 등 네 가지 변형을 제공하며, 선형 및 깊은 메모리 모듈에 적용 가능하다. 실험 결과, 언어 모델링 및 장기 컨텍스트 이해 과제에서 기존 RNN보다 크게 향상된 성능을 보였으며, Transformer와의 정확도 격차를 크게 줄였다.

상세 분석

이 논문은 Transformer가 제공하는 O(L²) 복잡도의 성장형 메모리와 전통적인 RNN이 갖는 O(L) 고정 메모리 사이의 트레이드오프를 완화하는 새로운 프레임워크인 Memory Caching(MC)을 제시한다. 핵심 아이디어는 시퀀스를 S¹,…,Sᴺ의 N개 구간으로 분할하고, 각 구간의 마지막 은닉 상태 M⁽ⁱ⁾ₗ(ⁱ) 를 캐시하는 것이다. 이렇게 저장된 체크포인트는 현재 토큰의 쿼리 qₜ와 함께 집계 함수 Agg에 입력되어, 온라인 메모리와 과거 캐시 메모리를 동시에 활용한다.

네 가지 구체적 변형은 다음과 같다.

1. Residual Memory: 가장 단순히 모든 캐시 메모리를 합산해 잔차 연결 형태로 사용한다. 선형 메모리에서는 사전 합산이 가능하지만, 비선형 경우에도 장기 정보를 유지하는 효과가 있다.
2. Gated Residual Memory (GRM): 각 구간마다 입력‑종속 게이트 γ⁽ⁱ⁾ₜ ∈