TODO

관련 작업

TODO

모델

다음 논의에서는 방정식에서 편의성을 위해 편향(biases)을 생략합니다.

선형 메모리 네트워크(LMN)

선형 메모리 네트워크(LMN)은 Elman RNN의 변종으로, 선형 메모리 업데이트를 특징으로 합니다. 모델 방정식들은 다음과 같습니다:

LMN은 Elman RNN과 동일하지만, 만약 $`W_{mm}`$이 직교 행렬이라면 vanishing gradient 문제에 끼치는 영향을 피할 수 있습니다 (참조). 이는 긴 의존성을 캡처해야 하는 모델에게 바람직한 속성입니다.

다중 시간 척도 LMN

시계열 데이터를 부분 샘플링하여 더 짧은 시퀀스를 얻을 수 있습니다. 긴 시간의 의존성이 부분 샘플링된 시퀀스에서는 더 짧아지므로 학습하기가 쉬워집니다. 다중 시간 척도 LMN(MS-LMN)의 메모리 $`m^t \in \mathbb{R}^{g N_m}`$는 $`g`$ 개의 크기 $`N_m`$ 블록으로 구성됩니다. 각 모듈은 은닉 상태 시퀀스 $`h^1, ..., h^t`$를 지수 샘플링 속도 $`T_i = 2^i`$로 부분 샘플링하여 메모리 업데이트합니다 ($`i=0, ..., N_m - 1`$). 느린 모듈은 빠른 모듈과 연결되지만 그 반대는 아닙니다. 이 제약 조건은 느린 모듈이 부분 샘플링된 데이터만 볼 수 있도록 합니다.

각 모듈 $`k=0,... g-1`$의 업데이트 방정식은 다음과 같습니다:

\begin{eqnarray*}
 \vh^t &=& \sigma(\mW^k_{xh} \vx^t_k + \sum_{j=k}^{g-1} \mW_{m_j h} \vm^{t-1}) \\
 \vm^t_k &=& \begin{cases} 
 \mW^k_{hm} \vh^t_k + \mW^k_{mm} \vm^{t-1}_k & t \mod{2^k} = 0 \\
 m^{t-1} & o.w.
 \end{cases}
\end{eqnarray*}

[[IMG_PROTECT_1]]

MS-LMN의 아키텍처. 허점 경로는 해당 출력 노드가 활성화되었을 때만 작동합니다 ($` t mod T_i = 0`$).

[[IMG_PROTECT_2]]

재귀 가중치를 나타내는 블록 행렬의 구조($`i_t=1`$). 어두운 블록은 활성 모듈을, 밝은 블록은 비활성 모듈을 나타냅니다 ($`t mod T_i = 0`$, $`t mod T_i \neq 0`$).

각 타임스텝에서 $`\vh^t`$는 전체 메모리 $`\vm^t`$를 받으며, 메모리 블록들은 다른 빈도로 업데이트되고 느린 모듈들과만 연결됩니다.

모듈은 $`1, 2, 4...`$의 감소하는 업데이트 주기 순서대로 정렬되어 있으며, 각 타임스텝에서 메모리 블록들은 연속적인 인덱스 집합 $`0`$부터 $`i_t = \min \{i\ |\ t \bmod 2^t = 0 \wedge t \bmod 2^{t+1} \neq 0\}`$까지 업데이트됩니다.

이 속성을 활용하여 모든 블록의 메모리 업데이트는 두 개의 행렬 곱셈으로 효율적으로 구현할 수 있습니다 (그림 [[IMG_PROTECT_2]] 참조).

점진적 훈련

본 섹션에서는 각 모듈을 점차 추가하면서 네트워크를 확장하는 점진적인 훈련 방법을 제안합니다.

알고리즘은 비어있는 모델에서 시작하여, 각 모듈이 개별적으로 학습되고 네트워크에 추가됩니다. 새로운 모듈의 추가는 세 단계로 나뉩니다:

1. $`2^i`$ 길이 의존성을 학습

   • LMN 모델은 $`2^i`$ 타임스텝마다 샘플링된 시퀀스에서 훈련됩니다 ($`i`$는 현재 모듈의 인덱스).

2. 새로운 블록 초기화

   • 새로 추가된 모듈은 신규 학습된 LMN에 해당하는 가중치를 갖습니다.

3. 전체 모델 재조정

   • 새로운 모듈이 초기화되면, BPTT(Backpropagation Through Time)을 사용하여 전체 모델을 재조정합니다.

이 접근법을 통해 모델은 점차 더 긴 의존성을 학습할 수 있습니다. 각 새 모듈은 처음에는 개별적으로 학습되어 이후 네트워크와 결합되고, 그 결과 아키텍처는 재조정됩니다. 이 과정이 반복되면 최종적으로 $`g`$ 개의 모듈로 구성된 네트워크가 완성됩니다.

[[IMG_PROTECT_3]]

실험적 결과

본 섹션에서는 실험 결과를 보여줍니다. MS-LMN은 CW-RNN과 LSTM을 대상으로 비교합니다. 각 설정에는 단일 은닉 층이 포함됩니다. 모든 모델은 Adam 최적화 알고리즘을 사용하여 최적화됩니다 (참조). 실험 설정에 대한 자세한 내용은 부록에서 찾을 수 있습니다.

시퀀스 생성

첫 번째 실험은 합성 음성 시퀀스를 대상으로 하는 작업입니다. 원시 오디오 신호의 300 타임스텝을 무작위 위치부터 44.1 kHz로 샘플링하여 추출합니다. 시퀀스 요소는 $`[-1, +1]`$ 범위에 정규화되어 목표 출력으로 사용됩니다. 모델은 입력 없이 각 타임스텝에서 대상 시퀀스의 해당 요소를 출력해야 합니다.

각 아키텍처는 다양한 파라미터 수($`\{ 100, 250, 500, 1000 \}`$)로 학습되며 이는 은닉 유닛 수를 조정하여 달성됩니다. 모델은 정규화된 MSE 손실을 사용하여 훈련합니다. CW-RNN과 MS-LMN은 $`\{ 1, ..., 2^8 \}`$의 지수 클록 속도로 9개 모듈을 사용합니다.

[[IMG_PROTECT_4]]

실험 결과를 보여주는 그림입니다. 대상 시퀀스는 점선 파란색 선으로 표시되고 예측은 고정 녹색 선으로 나타납니다.

TIMIT 발화 단어 분류

두 번째 실험은 음성 시퀀스의 분류 작업을 대상으로 합니다. 데이터셋은 TIMIT에서 추출되어 ((참조)) 실험 설정에 따라 구성됩니다. 원래 데이터셋에서 25개의 단어를 나타내는 오디오 시퀀스가 추출되었습니다.

각 단어는 다른 발화자로부터 7개의 샘플이 있으며, 이들 중 5개가 학습 및 검증용으로 사용되고 나머지 2개는 테스트 용도로 사용됩니다. 총 데이터셋에는 175 개의 시퀀스가 포함되어 있습니다.

본 작업에서 제공된 학습/검증 분할이 없기 때문에 다른 분할을 사용했습니다. 작은 크기의 데이터셋으로 인해 성능은 분할에 따라 달라질 수 있으며, 그들의 결과를 재현하지는 못했습니다. 우리의 학습/검증 분할은 부록에서 제공되어 다른 연구자들이 우리의 결과와 비교할 수 있도록 합니다.