신경 ODE의 내부 메커니즘을 해부하다

본 연구는 연속 깊이 신경망인 Neural ODE(Neural Ordinary Differential Equations)의 내부 구조와 설계 선택이 모델 동역학에 미치는 영향을 체계적으로 분석한다. 먼저, 기존 Neural ODE가 ResNet의 무한 깊이 한계를 완전히 구현하지 못한다는 점을 지적하고, 파라미터 θ를 깊이 변수 s에 따라 변하도록 하는 깊이‑가변(depth‑variance) 모델을 제안한다. 이를 위해 파라미터 공간을 함수 공간 L²(S→ℝⁿθ) 로 정의하고, 무한 차원에서의 손실 함수에 대한 미분을 adjoint 방법으로 일반화한 정리(Theorem 1)를 제시한다. 이 정리를 기반으로 두 가지 실용적인 근사화를 설계한다. 첫 번째는 Galerkin 방식으로, 완전 직교 기저(예: Fourier, Chebyshev)를 이용해 θ(s)를 유한 개의 계수 α_j 로 전개한다. 이 스펙트럼 이산화는 파라미터 수를 m·nθ 로 제한하면서도 주기적·정밀한 깊이‑동적을 학습할 수 있게 한다. 실험에서는 β(s) 라는 주기 신호를 추적하는 태스크에서 Galerkin Neural ODE가 적은 NFEs로 정확히 복원함을 보였다. 두 번째는 스택형(Stacked) 방식으로, θ(s)를 구간별 상수값으로 두어 p개의 독립적인 Neural ODE 블록을 순차적으로 쌓는 구조를 만든다. 이 방법은 파라미터 자유도를 높이면서도 구현이 간단하고, 깊이‑가변 모델을 실제 네트워크로 변환하는 데 유용하다. 다음으로 증강(Augmentation) 전략을 재검토한다. 기존 ANODE(0‑augmentation)는 입력 x와 0을 결합해 초기 상태를 정의했지만, 이는 초기 조건을 고정시켜 표현력에 제한을 만든다. 저자는 입력 레이어 hₓ 를 학습 가능한 변환으로 두는 Input‑Layer(IL) 증강을 제안한다. hₓ는 선형 혹은 비선형 레이어일 수 있으며, 이를 통해 초기 상태를 자유롭게 설정하면서 파라미터 오버헤드를 최소화한다. 실험에서는 IL‑NODE가 0‑augmentation 대비 NFEs를 크게 낮추고 정확도는 유지하거나 향상시켰다. 또한 고차(Second‑order) Neural ODE를 도입해 상태를 (q, p) 로 분리하고, fθ를 차원 n_z/n 로 매핑함으로써 동일한 표현력을 더 적은 파라미터로 구현한다. 고차 증강은 특히 이미지 분류와 같은 고차원 문제에서 0‑augmentation보다 효율적이며, 파라미터 수는 비슷하거나 더 적다. 증강 외에도 데이터‑제어(Data‑Controlled)와 적응 깊이(Adaptive‑Depth)라는 두 새로운 패러다임을 제시한다. 데이터‑제어는 fθ(s) 를 입력 x에 조건화하여, 하나의 ODE가 입력마다 다른 벡터 필드를 학습하도록 만든다. 이를 통해 반사 변환이나 동심원 annuli와 같은 복합 매핑을 별도 증강 없이도 정확히 학습할 수 있다. 적응 깊이는 통합 구간 S의 상한을 별도 네트워크가 예측하도록 하여, 샘플마다 필요한 연산량을 동적으로 조절한다. 이 두 기법은 깊이‑가변 모델이 고차원에서도 궤적 교차 문제를 회피하고, 효율적으로 표현력을 확장하도록 돕는다. 마지막으로 실험 결과를 종합한다. MNIST·CIFAR‑10 이미지 분류 실험에서 네 가지 증강 방식(기본, ANODE, IL‑NODE, 2차 ODE)을 비교했으며, IL‑NODE가 가장 낮은 NFEs와 경쟁력 있는 정확도를 기록했다. 또한 Galerkin 및 Stacked 모델을 이용한 깊이‑가변 학습은 1‑D 이진 분류와 2‑D 주기 신호 추적에서 기존 방법보다 빠른 수렴과 정확한 동역학 복원을 보였다. 전체적으로 본 논문은 Neural ODE 설계 공간을 크게 확장하고, 깊이‑가변 파라미터, 스펙트럼/스택 이산화, 다양한 증강, 데이터‑제어 및 적응 깊이 기법을 통합한 체계적 프레임워크를 제공함으로써, 기존 블랙‑박스 접근의 한계를 극복하고 효율적·표현력 높은 연속 깊이 모델을 구현하는 길을 제시한다.