ResNet의 시공간 표현력: 일반 ODE 근사와 복잡도 한계

본 논문은 Residual Network(ResNet)의 동적 해석을 통해 일반적인 상미분 방정식(ODE)의 해를 시공간 전역에서 근사할 수 있음을 이론적으로 증명한다. 서론에서는 1990년대부터 시작된 신경망 기반 PDE/ODE 수치 해법들을 소개하고, 기존 연구가 주로 “공간적 오류”에만 초점을 맞추었으며, 시간에 대한 오류는 별도로 다루지 않았음을 지적한다. 특히, 기존의 신경망 기반 ODE 해석은 단일 초기값에 대한 근사에 국한되었고, 전체 흐름 x(t,y)를 다루는 “시공간 오류”는 아직 부족했다는 점을 강조한다. ResNet의 구조는 x_{k+1}=x_k+R_k(x_k) 로 정의되며, 이는 명시적 Euler 스킴과 동일하게 해석될 수 있다. 저자는 이를 바탕으로 “Residual network”를 정의하고, 각 잔차 블록 R_k를 ReLU 활성화와 선형 변환의 조합으로 구성한다. 시간 구간