에코스테이트 네트워크의 대칭 깨기: 거울 끌개 현상의 원인과 해결책

초록

본 논문은 하이퍼볼릭 탄젠트 활성화 함수를 사용하는 가장 단순한 에코스테이트 네트워크(ESN)에서 발생하는 대칭성 문제를 밝혀낸다. 이 대칭성 때문에 네트워크는 원래 데이터와 부호가 반전된 ‘거울‑끌개’를 동시에 학습하게 되며, 특히 평균을 0으로 맞춘 데이터에서는 예측이 급격히 실패한다. 저자들은 출력 바이어스, 입력 시프트, 2차 읽기층, 짝·홀 활성화 함수 혼합 등 네 가지 방법으로 대칭을 깨는 방식을 제안하고, Lorenz와 Halvorsen 두 혼돈 시스템을 이용해 정량적으로 비교한다. 입력 시프트와 2차 읽기층이 가장 효과적으로 대칭을 제거하고 장기·단기 예측 성능을 향상시킨다.

상세 분석

이 논문은 ESN 설계 시 가장 흔히 사용되는 tanh 활성화 함수가 갖는 ‘odd’(홀) 대칭성—즉 f(−z)=−f(z)—이 reservoir 내부 상태에 전파되어 전체 시스템에 전역적인 부호 반전 대칭을 만든다는 점을 수학적으로 증명한다. 저자는 초기 상태 r₀=0을 가정하고, 입력 시퀀스 xₜ를 부호 반전한 −xₜ에 대해 reservoir 상태 rₜ가 항상 −rₜ가 됨을 귀납적으로 보인다. 이때 읽기층이 선형이므로 출력 yₜ 역시 부호가 반전된다. 결과적으로 원본 데이터와 부호가 반전된 데이터에 대해 동일한 가중치 W_out을 학습하게 되며, 네트워크는 원래 attractor와 그 거울‑버전(즉, (−x,−y,z) 변환) 모두를 재현한다.

이 현상은 Lorenz 시스템처럼 z축에 대한 평균이 원점에서 멀리 떨어진 경우 특히 문제가 된다. 원본 attractor와 거울 attractor가 서로 겹치지 않을 때는 예측이 일시적으로 원래 궤도를 따라가지만, z축을 0으로 정규화하면 두 attractor가 겹치게 되고 네트워크는 자주 전이한다. 실험에서는 1000개의 무작위 초기화에 대해 98.5%가 z=0을 통과할 때 거울‑전이가 발생했으며, 평균 전이 시점은 약 31 000 타임스텝(≈539 Lyapunov 시간)이었다.

대칭을 깨는 네 가지 방법을 제시한다.

1. 출력 바이어스: yₜ = W_out rₜ + b 를 도입해 선형 읽기층에 상수항을 추가한다. 하지만 실험에서는 바이어스가 거울‑전이를 완전히 억제하지 못했다.
2. 입력 시프트: 입력에 상수 c를 더해 xₜ′ = xₜ + c 로 변환한다. 이 경우 reservoir 내부에 비대칭이 주입되어 rₜ(−x) ≠ −rₜ(x) 가 되며, 거울‑전이가 거의 사라진다.
3. 2차 읽기층: 읽기층에 quadratic term φ(r)=