잔차 저장소 메모리 네트워크

초록

본 논문은 선형 메모리 저장소와 비선형 잔차 연결을 결합한 새로운 비학습형 RNN 구조인 Residual Reservoir Memory Network(ResRMN)를 제안한다. 비선형 모듈은 시간 차원에 직교 잔차 연결을 도입해 장기 의존성을 강화하고, 선형 모듈은 순환 구조를 이용해 기억 용량을 극대화한다. 저자는 Jacobian의 스펙트럼을 통한 선형 안정성 분석을 수행하고, 무작위·순환·항등 직교 행렬을 이용한 세 가지 잔차 구성의 동적 특성을 비교한다. UEA/UCR 시계열 및 픽셀‑레벨 1‑D 분류 벤치마크에서 기존 Echo State Network와 Residual ESN 대비 향상된 정확도와 메모리 용량을 입증한다.

상세 분석

ResRMN은 두 개의 독립적인 저장소를 계층적으로 결합한 하이브리드 구조를 갖는다. 첫 번째인 선형 메모리 저장소는 상태 업데이트 식 m(t)=V_m m(t‑1)+V_x x(t) 로 정의되며, V_m은 순환 가중치를 갖는 사이클형 직교 행렬로 초기화된다. 이 설계는 선형 시스템의 고유값이 단위 원 위에 고르게 분포하도록 하여, 입력 신호를 장기간에 걸쳐 손실 없이 전달할 수 있는 메모리 용량을 제공한다. 두 번째인 비선형 저장소는 Residual Echo State Network(ResESN) 형태를 차용한다. 상태 업데이트 식 h(t)=α O h(t‑1)+β tanh(W_h h(t‑1)+W_m m(t)+W_x x(t)+b_h) 에서 O는 직교 행렬이며, α와 β는 각각 잔차 경로와 비선형 경로의 스케일링 계수이다. O는 무작위 직교 행렬(O_R), 순환 직교 행렬(O_C), 항등 행렬(O_I) 세 가지 형태로 실험되며, 각각 고유값의 분포와 메모리-비선형 상호작용에 차이를 만든다.

저자는 전체 시스템을 하나의 블록 벡터 H(t)=