무한 시간 보장을 갖는 동적 시스템을 위한 보편 근사 정리

📝 Abstract

Universal approximation theorems establish the expressive capacity of neural network architectures. For dynamical systems, existing results are limited to finite time horizons or systems with a globally stable equilibrium, leaving multistability and limit cycles unaddressed. We prove that Neural ODEs achieve $\varepsilon $-$δ$ closeness – trajectories within error $\varepsilon$ except for initial conditions of measure $< δ$ – over the \emph{infinite} time horizon $[0,\infty)$ for three target classes: (1) Morse-Smale systems (a structurally stable class) with hyperbolic fixed points, (2) Morse-Smale systems with hyperbolic limit cycles via exact period matching, and (3) systems with normally hyperbolic continuous attractors via discretization. We further establish a temporal generalization bound: $\varepsilon $-$δ$ closeness implies $L^p$ error $\leq \varepsilon^p + δ\cdot D^p$ for all $t \geq 0 $, bridging topological guarantees to training metrics. These results provide the first universal approximation framework for multistable infinite-horizon dynamics.

💡 Analysis

**

1. 연구 배경 및 문제 정의

• 기존 한계: RNN·Neural ODE에 대한 보편 근사 정리는 대부분 “유한 시간” 혹은 “전역 안정( fading‑memory )” 조건에 의존한다. 이는 다중안정성(여러 끌개가 공존)이나 리미트 사이클을 포함하는 실제 뇌·제어 시스템을 설명하지 못한다.
• 세 가지 오류 유형
  • B‑type (Basin mismatch): 작은 벡터장 오차가 분리면(세퍼레이터) 근처에서 다른 끌개로 이동.
  • P‑type (Phase drift): 주기 미스매치가 누적돼 무한히 큰 위상 차이 발생.
  • D‑type (Discretization): 연속 끌개는 구조적으로 불안정해 미세한 교란으로 사라짐.

이러한 위상학적 장애를 극복하기 위해 구조적 안정성(Morse‑Smale, 정상 초과) 이론을 활용한다.

2. 주요 기여

3. 기술적 접근

1. 구조적 안정성 활용

   • Morse‑Smale 시스템은 작은 (C^{1}) 변동에 대해 위상동형을 유지한다는 Palis‑Smale 정리를 이용, 근사 벡터장이 원 시스템과 위상동형임을 보인다.
   • 안정·불안정 다양체의 교차가 전이(transversal)하므로, 분리면(세퍼레이터)의 레베뉴 측도가 0임을 이용해 B‑type 오류를 (\delta) 로 제어.

2. 주기 매칭 기법

   • 목표 리미트 사이클 주변에 작은 구역을 정의하고, 그 구역 안에서 벡터장을 (c(x)) 로 스케일링해 정확히 같은 주기 (T) 를 갖도록 설계.
   • 이 로컬 변환은 전체 흐름에 (C^{1}) 연속성을 유지하면서 P‑type 오류를 완전히 억제한다.

3. 연속 끌개 근사

   • 정상 초과 연속 끌개(선형·링·원통 등)는 “등시성(isochronous)” 가정 하에, 격자 간격을 (\epsilon) 이하로 잡은 이산 고정점 집합을 삽입해 연속 끌개를 근사.
   • 각 격자점은 정상 초과 성질에 의해 주변 흐름에 강하게 끌리므로, 전체 흐름은 (\epsilon)‑δ 근접성을 만족한다.

4. ε‑δ → (L^{p}) 변환

   • (\varepsilon)-δ 근접성은 “대다수 초기조건에 대해 sup‑norm 오차 ≤ ε, 나머지 ≤ D” 라는 형태.
   • 이를 측도 (\delta) 와 도메인 직경 (D) 로 적분하면 (\mathbb{E}_{x}\big

📄 Content

보편 근사 결과는 신경망의 표현 능력에 대한 엄밀한 보장을 제공합니다. 동적 시스템에 대해 순환 신경망(RNN)은 보편 근사기(Universal Approximator)라는 점에서 널리 인용되며(47), 신경 계산 모델에 적용되는 근거를 제공합니다(38,166). 그러나 이러한 이론적 약속과 생물학적 현실 사이에는 근본적인 격차가 존재합니다. 현재 존재하는 보장은 유한 시간 구간 혹은 **전역적으로 안정된 평형점(페이딩 메모리 속성)**을 갖는 시스템에만 엄격히 제한됩니다. 이 제한은 다중안정성(멀티스테이빌리티)—여러 개의 끌개가 동시에 존재하는 상황—을 명시적으로 배제합니다. 다중안정성은 핵심 인지 기능의 동적 기반이며, 구체적인 예는 다음과 같습니다.

• 의사결정은 서로 다른 끌개(Attractor)들의 유역(basin) 중 하나를 선택하는 과정입니다.
• **작업 기억(working memory)**은 자체 지속적인 지속 활동(self‑sustaining persistent activity)을 필요로 합니다.
• 신경 진동(Neural oscillations), 즉 제한 주기(limit cycles)는 리듬 운동 제어를 구동합니다(16,85,138,161).

따라서 현재 이론은 계산에 필수적인 동적 영역을 다루지 못합니다. 무한 시간에 대한 보장은 **시간 일반화(temporal generalization)**를 위해 필수적이며, 이는 모델이 유한한 창이 아니라 무한히 긴 기간 동안 일관되게 동역학을 재현할 수 있음을 의미합니다.

유한 시간 결과를 무작정 무한 시간으로 확장하려 할 때 발생하는 세 가지 근본적인 실패 모드는 다음과 같습니다.

이러한 위상학적 장애는 표준 그룬월드(Grönwall) 기반 오류 분석으로는 해결할 수 없으며, 그 결과는 지수적으로 성장하는 경계가 되어 무한 시간에 적용할 수 없습니다.

본 연구는 무한 시간 구간에서 다중안정성 동적 시스템에 대한 최초의 보편 근사 결과를 제시합니다. 우리의 접근법은 구조적 안정성 이론을 활용합니다. 구체적으로 Morse‑Smale 시스템—구조적으로 안정한 시스템의 중요한 부분집합—은 작은 (C^{1}) 섭동에 대해 강인하므로, 무한 시간에 대한 경계(bound) 설정이 가능합니다. 제한 주기에 대해서는 **정확한 주기 일치(exact period matching)**를 보장하기 위해 **국부적인 보정 절차(localized correction procedure)**를 추가로 요구합니다.

학습 이론적 프레임워크

우리는 다음과 같이 정의합니다.

• 목표 클래스 ( \mathcal{F} ) : 근사하고자 하는 동적 시스템들의 집합.
• 가설 클래스 ( \mathcal{F} ) : 신경 ODE(Neural ODE)들의 집합 (정의 1).
• 근사 기준 : (\varepsilon)–(\delta) 근접성(Definition 9).

보편 근사란: 임의의 ( f \in \mathcal{F} )와任意의 (\varepsilon, \delta > 0)에 대해, (\varepsilon)–(\delta) 근접성을 만족하는 ( \hat f \in \mathcal{F} )가 존재함을 의미합니다.

우리는 점점 일반화되는 세 가지 목표 클래스에 대해 보편 근사를 증명합니다. 여기서 (\varepsilon)–(\delta) 근접성은 “궤적 오차가 (\varepsilon)를 초과하는 초기 조건들의 부피가 (\delta)보다 작다”는 의미(Definition 9)입니다.

시간 일반화 경계

보편 근사와 실용적인 훈련 지표(예: 평균 제곱 오차, MSE)를 연결하기 위해 다음과 같은 시간 일반화 정리를 제시합니다.

• Theorem TG (Temporal Generalization) : (\phi)가 (\hat\phi)와 (\varepsilon)–(\delta) 근접하면, 시간 평균 (L^{p}) 오류는
  [ E_{p,\infty} \le \varepsilon^{p} + \delta \cdot D^{p}, ]
  여기서 (D)는 정의역의 직경이다. 이는 위상학적 보장을 실제 훈련 손실과 연결한다(정리 6).

주요 기여

1. 무한 시간 구간에서 다중안정성 시스템에 대한 최초의 보편 근사 결과(정리 3‑5)를 제시.
2. 유한 크기의 Neural ODE만으로도 위 결과를 달성함을 증명(섹션 4).
3. 제한 주기의 정확한 일치를 위한 국부 벡터장 스케일링을 도입하여 P‑type 오류를 제거(정리 4).
4. (\varepsilon)–(\delta) 근접성을 유계 (L^{p}) 오류와 연결하는 시간 일반화 경계를 도출(정리 6).

그림 1은 보편 근사 결과의 전반적인 지형을 보여준다. 기존의 무한 시간 이론은 페이딩 메모리 시스템(단일 전역 끌개)으로 제한되었지만, 본 연구는 Morse‑Smale 시스템 전체와 정상 초과 연속 끌개까지 확장한다(143). 기존 무한 시간 결과는 페이딩 메모리 속성(FMP)을 전제로 하여 다중안정성을 배제한다. 우리는 Neural ODE가 Morse‑Smale 시스템(F FP, F LC) 및 **정상 초과 연속 끌개(F CA)**에 대해 **조밀(dense)**하다는 것을 증명한다(동일한 등시성 가정 하에).

배경 및 관련 연구

신경망이 동적 시스템을 모델링할 수 있는 이론적 능력은 잘 확립되어 있으나, 기존 결과는 크게 두 갈래로 나뉩니다.

1. 유한 시간 근사 – 일반 시스템에 대해 보편 근사를 제공하지만, 오류 경계가 그룬월드 부등식에 의존해 시간이 지날수록 지수적으로 커져 장기 행동을 보장하지 못한다(153). Funahashi와 Nakamura(47), Li(102) 등이 이러한 결과를 제시했으며, Kimura와 Nakano(89), Chow와 Li(25) 등이 다양한 아키텍처에 대해 확장하였다. 이 제한은 이산‑시간 재귀(1,84), 시간‑가변 시스템(105), Neural ODE(18) 등 모든 아키텍처에 공통적으로 적용된다.

2. 무한 시간 근사 – 페이딩 메모리 속성(FMP)을 만족하는 시스템에만 적용된다. Echo State Networks(80)와 reservoir computing(55)은 페이딩 메모리 시스템에 대해 무한 시간 보편 근사를 달성한다. FMP는 과거 입력의 영향이 점차 사라짐을 보장해 필터(51)와 State Space Model(167)의 무한 시간 근사를 가능하게 한다. Nakamura와 Nakagawa(124), Hanson과 Raginsky(61) 등도 전역적으로 안정된 평형점을 갖는 시스템에 대해 무한 시간 결과를 제시했지만, 다중안정성을 포함하지 않는다.

또한 연산자 이론(operator‑theoretic) 접근은 상태를 무한 차원 공간으로 올려 선형화하는 방법을 제시한다. Koopman 연산자 이론(93,119)과 Carleman 선형화(15,44)는 관측값 공간에서 선형화를 시도하지만, 실제 구현에서는 **무한 폭(infinite width)**이 필요하고, 균일 궤적 보장이 부족하다(12).

우리의 작업은 **구조적 안정성(theory of structural stability)**을 활용해 위의 제한을 극복한다. 특히 Morse‑Smale 시스템은 구조적 안정성을 갖는 중요한 부분집합이며, 작은 (C^{1}) 섭동에 대해 **위상 동형(homeomorphism)**을 유지한다(Palis‑Smale 정리 128).

핵심 정의 및 정리

기본 기호

• (X \subset \mathbb{R}^{n}) – 유계 개방 집합.
• (X^{1}(X)) – 모든 (C^{1}) 벡터장 (f : X \to \mathbb{R}^{n}) 중, 궤적이 모든 (t \ge 0)에 대해 (X) 안

이 글은 AI가 자동 번역 및 요약한 내용입니다.