선형 메모리 네트워크: 인코딩 기반 기억 모듈을 통한 장기 시퀀스 학습

본 논문은 순차 데이터 처리에서 RNN이 직면하는 두 가지 핵심 과제—특징 추출과 장기 기억—를 명확히 구분하고, 각각을 전용 모듈로 설계·학습하는 새로운 프레임워크를 제시한다. 먼저, 기존 RNN 구조가 기능과 기억을 하나의 비선형 재귀에 결합함으로써 학습이 복잡하고 기울기 소실 문제가 심각하다는 점을 지적한다. 이를 해결하기 위해 저자들은 Linear Memory Network(LMN)를 고안한다. LMN은 (1) 비선형 피드포워드 네트워크가 입력을 처리해 은닉 상태 \(h_t\)를 생성하고, (2) 선형 자동인코더(Linear AutoEncoder for Sequences, LAES)를 기반으로 한 선형 재귀가 은닉 상태를 메모리 상태 \(m_t\)에 인코딩한다는 두 모듈로 구성된다. LAES는 입력 시퀀스를 순차적으로 선형 변환 \(m_t = A x_t + B m_{t-1}\) 로 인코딩하고, 복원 단계에서는 \(