RNN 솔루션 다양성 측정 및 제어: 행동·동역학·가중치 수준의 통합 프레임워크

초록

본 연구는 작업에 맞게 학습된 순환 신경망(RNN)의 해답이 서로 다른 내부 구조를 가질 수 있는 ‘솔루션 퇴화(solution degeneracy)’ 현상을 정량화하고 조절하는 통합 방법을 제시한다. 행동, 신경 동역학, 가중치 공간 세 수준에서 퇴화 정도를 측정하고, 과제 복잡도, 학습 방식, 네트워크 규모, 구조적 정규화 네 가지 요인이 각각 어떻게 영향을 미치는지 3,400개의 RNN 실험을 통해 분석한다. 결과는 복잡한 과제는 동역학을 일관되게 만들지만 가중치는 더 다양해지며, 큰 네트워크와 정규화는 모든 수준에서 퇴화를 감소시킨다는 것을 보여준다.

상세 분석

이 논문은 RNN의 솔루션 퇴화라는 현상을 세 가지 계층(행동, 동역학, 가중치)에서 동시에 정량화하는 새로운 프레임워크를 구축한다. 행동 퇴화는 OOD(Out‑of‑Distribution) 상황에서의 출력 오차 표준편차로 정의하고, 동역학 퇴화는 Dynamical Similarity Analysis(DSA)를 이용해 각 네트워크의 상태 전이 연산자를 비교함으로써 측정한다. 가중치 퇴화는 순열 불변 퍼뮤테이션-인버리언트 Frobenius 거리(dPIF)를 사용해 두 가중치 행렬 사이의 최소 거리로 정의한다.

실험에서는 네 가지 신경과학적 과제(Flip‑Flop, Delayed Discrimination, Sine Wave Generation, Path Integration)를 선택하고, 각 과제마다 입력·출력 채널 수, 학습률, 네트워크 폭, L2 정규화 등 네 가지 요인을 체계적으로 변형한다. 50개의 독립 초기화 모델을 128 hidden unit으로 학습시켜 총 3,400개의 모델을 확보하였다.

핵심 결과는 다음과 같다. ① 과제 복잡도가 증가하면(채널 수 확대) 동역학 퇴화가 감소하고, 네트워크들이 더 유사한 궤적을 형성한다. 이는 ‘Contravariance Principle’—복잡한 과제일수록 가능한 솔루션 집합이 좁아진다—를 실증적으로 뒷받침한다. 반면, 가중치 퇴화는 복잡도와 정비례하여 증가한다. 이는 더 어려운 과제가 손실 지형에서 더 많은 고립된 최소점들을 만든다는 기존 이론과 일치한다. ② 학습 방식(강한 특징 학습)도 동역학 퇴화 감소와 가중치 퇴화 증가라는 동일한 반대 효과를 보인다. ③ 네트워크 규모를 확대하거나 구조적 정규화(L1, sparsity 등)를 적용하면 세 수준 모두에서 퇴화가 감소한다. 큰 용량은 최적화 경로를 넓혀 다양한 초기화가 수렴하도록 만들고, 정규화는 가중치 공간을 제한해 솔루션을 일관되게 만든다. ④ 행동 퇴화는 동역학 퇴화와는 일관되지 않을 수 있다. 일부 조건에서는 복잡도가 행동 퇴화를 감소시키지만, 다른 조건에서는 오히려 증가한다. 이는 행동이 동역학과 가중치의 복합적 투영임을 시사한다.

또한, 저자들은 SVCCA를 사용해 표현적 퇴화와 동역학·가중치 퇴화가 서로 다른 패턴을 보임을 확인하였다. 이는 동일한 행동 성능을 달성하더라도 내부 표현이 크게 달라질 수 있음을 의미한다. 논문은 이러한 정량적 지표들을 활용해 연구자가 원하는 수준의 일관성(예: 공통 메커니즘 탐색) 혹은 다양성(예: 생물학적 변이 모델링)을 목표로 학습 조건을 설계할 수 있는 실용적 가이드를 제공한다.