스펙트럼 기반 입력‑출력 순환 신경망 학습

본 논문은 순차 라벨링 작업에 널리 쓰이는 입력‑출력 순환 신경망(IO‑RNN)과 양방향 순환 신경망(BRNN)을 학습하기 위한 새로운 스펙트럼 기반 방법을 제안한다. 기존 RNN 학습은 역전파를 통한 기울기 소실·폭발 문제와 비선형성으로 인한 비볼록 최적화 난이도로 인해 이론적 분석이 어려웠다. 저자들은 이러한 난관을 극복하고자, 입력 분포의 스코어 함수(확률밀도 함수의 정규화된 고차 도함수)를 이용해 출력과 입력 사이의 교차‑모멘트를 텐서 형태로 정의한다. 먼저, 입력 시퀀스가 연속 상태 공간 위의 마코프 체인으로 생성된다고 가정한다. 이때 스코어 함수는 전이 커널에만 의존하므로, 각 시점 t에 대한 스코어 함수 S_m(z