입력 가중치 최적화를 위한 입자군집 최적화 기반 에코 상태 네트워크 초기화 연구

초록

본 논문은 에코 상태 네트워크(ESN)의 저장소(Reservoir) 가중치 중 일부를 입자군집 최적화(PSO)로 조정하여, 전통적인 ESN보다 학습 정확도와 연산 시간을 개선하는 하이브리드 방법을 제안한다. 스펙트럼 반경을 직접 계산하지 않음으로써 초기화 비용을 크게 낮추면서도 다양한 시계열 벤치마크에서 우수한 성능을 보였다.

상세 분석

이 연구는 ESN의 핵심인 고정된 순환 가중치(Reservoir Weights)를 전부 무작위 초기화하고, 그 중 일정 비율(α)만을 PSO를 이용해 최적화한다는 독창적인 접근을 취한다. 기존 방법들은 스펙트럼 반경을 조정하거나 전체 가중치를 진화 알고리즘으로 탐색하는 데 높은 계산 비용이 소요되었지만, 본 논문은 α∈(0,1) 범위에서 작은 부분집합(Ω_h)만을 대상으로 PSO를 적용함으로써 연산량을 크게 절감한다. PSO 입자는 위치와 속도 업데이트 식(3,4)을 사용해 M차원 탐색 공간을 탐색하며, 적합도 함수는 평균 제곱 오차(MSE)로 정의된다. 최적화가 완료되면, 읽기(readout) 가중치는 선형 릿지 회귀로 학습한다. 실험에서는 레이저 펄스 데이터와 NARMA 시계열 등 네 가지 벤치마크를 사용했으며, 각 실험을 30번씩 무작위 초기화하여 통계적 유의성을 확보했다. 결과는 PSO‑ESN이 동일한 Reservoir 크기와 밀도를 가진 전통적인 ESN에 비해 평균 MSE가 현저히 낮고, 학습 시간도 감소했음을 보여준다. 특히 스펙트럼 반경을 직접 계산하지 않아도 충분히 안정적인 동적 특성을 유지할 수 있음을 실증하였다. 이와 같은 부분 최적화 전략은 ESN의 초기화 단계에서 인간 전문가의 개입을 최소화하고, 메모리·연산 효율성을 동시에 달성할 수 있는 실용적인 방안으로 평가된다.