스파스케 학습 가능한 임계값으로 효율적인 리저버 컴퓨팅

본 논문은 “SpaRCe”(Sparse Reservoir Computing)라는 새로운 방법론을 제시한다. 기존 에코스테이트 네트워크(ESN)는 고정된 랜덤 리저버와 출력층만을 학습한다는 특징이 있다. 그러나 이러한 구조는 리저버 내부의 모든 뉴런이 동일하게 출력에 기여하게 만들며, 불필요한 중복 정보가 많이 포함될 수 있다. 특히, 다중 작업을 연속적으로 학습할 경우 기존 뉴런이 새로운 작업에 맞게 재조정되면서 이전 작업에 대한 기억이 소멸하는 ‘재앙적 망각(catastrophic forgetting)’ 문제가 심각하다. SpaRCe는 이러한 문제를 해결하기 위해 뉴런별 가변 임계값 \( \theta_i \) 을 도입한다. 리저버 상태 \( \tilde V_i \) 에 대해 절대값이 임계값보다 작으면 해당 뉴런의 출력 \( x_i \) 을 0으로 만든다. 임계값은 두 요소로 구성된다. 첫 번째는 데이터 전체에 대한 \( |\tilde V_i| \) 분포의 n‑번째 백분위수 \(P_n(|\tilde V_i|)\) 로, 초기 희소 비율을 직접 설정한다. 두 번째는 학습 과정에서 업데이트되는 가변 파라미터 \( \tilde\theta_i \) 이며, 이는 평균 제곱 오차에 대한 그라디언트에 의해 조정된다. 학습 규칙은 출력 가중치 \(W^{o}\) 와 임계값 \( \theta_i \) 을 동시에 최적화한다. 출력 가중치는 기존 ESN과 동일하게 최소 제곱 오차를 최소화하도록 리지 회귀 혹은 그라디언트 하강법을 사용한다. 임계값에 대한 그라디언트는 두 상반된 힘으로 분해된다. 첫 번째 힘 \( \Delta\theta^{(1)} \) 는 모든 클래스에 고르게 기여하는 뉴런의 상관관계를 증가시켜 임계값을 올리고, 이를 통해 중복된 뉴런을 억제한다. 두 번째 힘 \( \Delta\theta^{(2)} \) 는 올바른 클래스에 큰 가중치를 가진 출력 연결을 통해 해당 뉴런의 임계값을 낮추어 활성화를 촉진한다. 이 두 힘의 균형은 초기 \(P_n\) 값에 따라 동적으로 변하며, 학습이 진행됨에 따라 최적의 희소 비율을 자동으로 찾아간다. 실험에서는 세 가지 주요 도메인에서 성능을 평가하였다. 첫 번째는 이미지 분류용 MNIST 데이터셋으로, 10개의 클래스에 대해 SpaRCe는 표준 ESN보다 높은 정확도를 기록했으며, 특히 초기 희소 비율을 30~60% 사이로 설정했을 때 가장 빠른 수렴과 최적 성능을 보였다. 두 번째는 음성 명령 인식 데이터셋으로, 시간적 특성이 강한 신호에 대해 리저버의 과거 상태를 연결(concatenation)하는 방식과 SpaRCe의 임계값 조절이 결합되어 기존 ESN 대비 5~7%의 정확도 향상을 달성했다. 세 번째는 복합 시계열 분류 작업으로, 여러 서로 다른 타임스케일을 가진 서브-리저버를 계층적으로 구성한 환경에서도 SpaRCe는 각 서브-리저버의 특화된 뉴런을 선택적으로 활성화함으로써 전반적인 분류 성능을 크게 끌어올렸다. 또한, 재학습 실험에서 기존 ESN는 새로운 작업을 학습하면서 이전 작업에 대한 정확도가 급격히 떨어지는 반면, SpaRCe는 임계값이 작업별로 특화된 뉴런을 유지하도록 조정되기 때문에 망각 현상이 현저히 감소하였다. 이는 임계값이 “특정 작업에 중요한 뉴런”을 보호하고, 불필요한 뉴런은 자동으로 비활성화시키는 기능을 수행하기 때문이다. 하드웨어 구현 측면에서도 SpaRCe는 큰 장점을 가진다. 리저버의 내부 동역학은 변하지 않으며, 임계값 연산은 단순한 비교와 ReLU 연산으로 구성돼 물리적 리저버(광학, 전자기, 메카니컬 등)에도 손쉽게 추가할 수 있다. 따라서 기존 ESN가 제공하는 저전력·저복잡도 특성을 유지하면서도 표현력과 일반화 능력을 크게 향상시킨다. 결론적으로, 논문은 다음과 같은 세 가지 주요 기여를 제시한다. (1) 학습 가능한 뉴런별 임계값을 통한 자동 희소성 조절 메커니즘, (2) 두 상반된 그라디언트 힘을 이용한 해석 가능한 특징 선택 및 정규화 효과, (3) 재학습 시 망각을 최소화하는 작업 특화 뉴런 유지 전략. 이러한 접근은 리저버 컴퓨팅의 실용성을 한 단계 끌어올리며, 향후 물리적 구현 및 다양한 시계열/패턴 인식 분야에 적용 가능성을 열어준다.