깊은 잔차 에코스테이트 네트워크: 잔차 직교 연결을 활용한 비학습 순환 신경망

초록

본 논문은 기존 에코스테이트 네트워크(ESN)의 장기 기억 한계를 극복하기 위해, 각 층에 시간적 잔차 연결을 도입한 깊은 비학습 순환 구조인 DeepResESN을 제안한다. 무작위 직교 행렬, 순환(사이클) 직교 행렬, 항등 행렬 등 세 가지 직교 매핑을 비교 분석하고, 안정성 및 수축성을 보장하는 충분·필요 조건을 이론적으로 도출한다. 실험 결과, 메모리 용량과 장기 시계열 예측·분류 성능에서 기존 shallow ESN 및 DeepESN을 크게 능가함을 확인한다.

상세 분석

DeepResESN은 기존 DeepESN의 층‑계층 구조에 시간적 잔차 경로를 추가함으로써, 각 레이어의 이전 상태를 직교 변환 O를 통해 직접 전달한다. 이때 잔차 경로와 비선형 경로는 각각 α(l)와 β(l)라는 양의 스케일링 계수로 조절되며, α(l)∈