단위진화 순환 신경망

본 논문은 순환 신경망(RNN)의 학습 과정에서 발생하는 기울기 소실·폭발 문제를 근본적으로 해결하고자, 은닉‑은닉 가중치를 단위행렬(유니터리 행렬)로 제한하는 새로운 아키텍처인 단위진화 순환 신경망(uRNN)을 제안한다. 서론에서는 깊은 신경망 학습 시 기울기가 층을 거치며 지수적으로 감소하거나 증가하는 현상을 설명하고, 기존 LSTM·GRU와 같은 게이팅 메커니즘이 이를 완화하지만 여전히 한계가 있음을 지적한다. 특히, 직교(orthogonal) 가중치가 기울기 노름을 보존한다는 수학적 근거를 제시하며, 이를 복소수 영역으로 확장하면 유니터리 행렬이 동일한 성질을 갖는다는 점을 강조한다. 2절에서는 직교 가중치가 기울기 전파에 미치는 영향을 정리하고, ReLU와 결합했을 때 기울기 폭발을 방지하고 소실을 최소화하는 새로운 경계식을 도출한다(식 3, 4). 이는 기존에 기울기 클리핑이 필요했던 RNN과 달리, 이론적으로 안정적인 학습이 가능함을 의미한다. 3절에서는 유니터리 행렬을 효율적으로 파라미터화하는 방법을 제시한다. 직접적인 고유값 분해는 O(n³) 비용이 들기 때문에 비현실적이며, 고정된 고유벡터 행렬 V를 사용하면 메모리와 연산이 O(n²)로 증가한다. 이를 극복하기 위해 저자는 다음 네 가지 기본 유니터리 연산을 조합한다: (1) 위상 파라미터 w_j 로 정의되는 대각 행렬 D, (2) 복소 반사 행렬 R = I‑2vv*/‖v‖², (3) 고정 순열 행렬 Π, (4) 푸리에 변환 F와 역변환 F⁻¹. 각 연산은 O(n) 혹은 O(n log n) 복잡도로 구현 가능하며, 파라미터 수는 O(n) 수준에 머문다. 최종 가중치 행렬은 W = D₃ R₂ F⁻¹ D₂ Π R₁ F D₁ 형태로 구성된다. 이 구조는 충분히 표현력이 높으며, 실험적으로도 다양한 작업에서 높은 성능을 보였다. 4절에서는 실제 구현 세부 사항을 다룬다. 복소수 은닉 상태를 실수와 허수 부분을 각각 n 차원의 실수 벡터로 표현해, 기존 딥러닝 프레임워크(Theano)에서 복소 연산을 실수 연산으로 변환한다. 복소 행렬‑벡터 곱은 실수 블록 행렬 형태로 전개되며, 복소 함수 f(z)도 실수 함수 α(x,y), β(x,y) 로 분해해 구현한다. 비선형 함수는 modReLU를 도입했는데, 이는 |z|+b가 양수일 때만 크기를 조정하고 위상은 그대로 유지한다. 이는 복소 위상이 장기 기억에 중요한 역할을 한다는 가설에 기반한다. 출력층은 실수 가중치 행렬 U를 사용해 복소 은닉 상태의 실·허수 부분을 결합해 실수 출력으로 변환한다. 초기화는 Glorot 방식과 균등 분포를 사용해 각 파라미터를 적절히 스케일링하고, 은닉 초기 상태는 정규화된 복소 벡터로 설정한다. 5절에서는 다양한 장기 의존성 벤치마크 실험 결과를 제시한다. 복사 기억 문제(copying memory)에서는 시간 지연이 100, 200, 300, 500 단계까지 늘어나도 uRNN이 몇 번의 에폭만에 완벽히 학습했으며, LSTM은 100 단계만을 겨우 넘었다. 또한, 플래시 메모리와 복잡한 순서 예측 작업에서도 uRNN은 RMSProp 최적화하에 빠른 수렴과 높은 정확도를 보였다. 반면, IRNN은 학습률을 극히 낮게 잡아야 했고, 기울기 클리핑이 없으면 쉽게 폭발했다. LSTM은 기울기 클리핑을 필요로 했지만, 여전히 uRNN에 비해 학습 속도가 느리고 최종 성능이 낮았다. 이러한 결과는 유니터리 가중치가 은닉 상태의 노름을 보존함으로써 장기 기억을 유지하고, 복소 modReLU가 위상을 보존하면서 정보를 전달한다는 가설을 실증한다. 결론에서는 uRNN이 복소수 기반의 효율적인 유니터리 파라미터화와 modReLU 비선형성을 통해 장기 의존성 학습에서 기존 RNN·LSTM을 뛰어넘는 성능을 달성했으며, 메모리·연산 효율성 덕분에 대규모 은닉 차원에서도 실용적이라고 주장한다. 향후 연구 방향으로는 다른 복소 비선형 함수 탐색, 다양한 시계열 및 자연어 처리 작업에의 적용, 그리고 하드웨어 가속을 위한 전용 구현 등을 제시한다.