동적 셀 구조를 위한 재귀‑순환 신경망

본 논문은 순환 신경망(RNN)에서 셀 구조가 모든 시점과 샘플에 대해 고정되어 있다는 한계를 지적하고, 이를 극복하기 위한 새로운 아키텍처인 재귀‑순환 신경망(RRNN)을 제안한다. 기존의 신경망 구조 탐색(NAS) 방법들은 대부분 전체 네트워크를 대상으로 하며, 탐색 비용이 매우 크고 결과로 얻어지는 구조는 모든 입력에 대해 동일하게 적용된다. 반면, RRNN은 셀 내부 연산을 계산 트리 형태로 모델링하고, RecNN의 트리 구축 알고리즘을 활용해 각 입력 샘플과 시점마다 최적의 트리를 동적으로 생성한다. **모델 설계** RRNN은 다음과 같은 구성 요소를 갖는다. - **초기 멀티셋 N₀**: 현재 입력 xₜ 와 이전 은닉 상태 hₜ₋₁ 을 여러 복제본으로 포함하고, 영벡터·단위벡터 등 상수 벡터를 추가한다. 이는 트리 구축 시 후보 노드 집합을 풍부하게 만든다. - **파라미터 집합**: 좌·우 가중치 행렬 L,R, 편향 b, 활성화 함수 집합 U, 이진 연산 집합 O, 스코어링 함수 파라미터 Θ, 출력 레이어 파라미터 Γ를 정의한다. 이 파라미터들은 전체 모델에 걸쳐 공유된다. - **트리 구축 과정**: 매 단계 k 에서 현재 멀티셋 Nₖ₋₁ 의 모든 가능한 두 노드 쌍에 대해 c = u(o(Lcᵢ, Rcⱼ)+b) 를 계산하고, 스코어링 함수 α(c;Θ) 가 가장 높은 c*ₖ를 선택한다. 선택된 두 노드는 멀티셋에서 제거되고, c*ₖ 가 새로운 노드로 삽입된다. 이 과정을 N‑1번 반복하면 단일 루트 노드와 전체 이진 트리가 완성된다. - **출력 및 손실**: 루트 노드의 벡터 hₜ 를 은닉 상태로 사용하고, 출력 레이어 g 를 통해 예측 qₜ 를 얻는다. 손실 L(Φ) 는 (1) 라벨 예측 손실 l, (2) 예측 트리와 목표 트리 간 거리 TD, (3) 트리 구축 과정에서 발생하는 마진 m, (4) 파라미터 정규화 항을 가중치 λ₁‑λ₄ 로 결합한다. 목표 트리는 GRU·LSTM 등 기존 셀을 트리 형태로 변환한 것이며, 논문은 α를 적절히 설계하면 이러한 목표 트리를 정확히 재현할 수 있음을 증명한다. **이론적 분석** - **GRU·LSTM 재현**: 논문은 GRU 방정식을 이진 트리로 변환하고, 스코어링 함수가 해당 트리를 우선 선택하도록 설계하면 RRNN이 정확히 동일한 연산을 수행함을 보인다. LSTM도 두 개의 은닉·메모리 상태를 동시에 다루는 확장 버전으로 구현 가능하다. - **그래디언트 안정성**: RRNN은 각 병합 단계가 선형 변환 후 비선형 활성화로 구성되며, 스코어링 함수가 선택하는 연산이 제한된 스펙트럼을 갖도록 하면 Jacobian의 특이값이 1에 가깝게 유지된다. 이를 통해 폭발·소실 문제를 방지하는 충분·필요 조건을 제시한다. - **트리 거리 메트릭**: TD는 노드 레벨의 벡터 차이와 구조적 차이를 동시에 고려하는 새로운 거리 함수이며, Iso(T_target) 집합을 통해 트리 동형성을 자동으로 처리한다. **실험** 세 개의 공개 데이터셋(위키피디아 문자 수준 언어 모델링, Penn Treebank, IMDB 감성 분석)에서 RRNN을 평가하였다. 주요 결과는 다음과 같다. - 위키피디아 데이터에서 RRNN은 BPC 1.25를 기록, 기존 GRU의 1.33보다 약 5.5% 개선하였다. - PTB에서는 퍼플렉시티가 78.4에서 73.2로 감소, GRU 대비 6.7% 향상. - IMDB 감성 분석에서는 정확도가 91.3%에서 94.0%로 상승, 기존 LSTM·GRU 대비 3% 이상 개선. 또한, 파라미터 수는 GRU와 동일했으며, 트리 구축 비용은 배치당 한 번의 연산으로 제한되어 전체 학습 시간 증가가 12% 이하에 머물렀다. **의의와 한계** RRNN은 셀 구조를 데이터‑시점 의존적인 함수로 전환함으로써, 복잡하고 비정형적인 시계열 데이터에 대한 적응성을 크게 향상시킨다. 동일 파라미터 집합으로 다양한 셀 형태를 생성할 수 있어 모델 압축, 전이 학습, 멀티태스크 학습 등에 활용 가능성이 높다. 그러나 현재는 목표 트리를 사전에 정의해야 하며, 트리 탐색 과정이 완전 탐색이 아닌 휴리스틱 스코어링에 의존한다는 점에서 최적성 보장이 제한적이다. 또한, 트리 구조가 복잡해질수록 메모리 사용량이 증가할 수 있어 대규모 실시간 시스템에 적용하려면 추가적인 효율화가 필요하다. **결론** 본 연구는 RNN 셀을 고정된 수식이 아니라, RecNN 기반의 동적 트리로 재구성함으로써 신경망 구조 탐색의 새로운 패러다임을 제시한다. 이론적 증명과 실험적 검증을 통해 기존 GRU·LSTM 대비 성능 향상을 입증했으며, 향후 목표 트리 자동 생성, 트리 탐색 효율화, 다양한 시계열 도메인 적용 등을 통해 연구를 확장할 여지가 크다.