깊은 학습과 흐름을 통한 근사율
본 논문은 딥 레지듀얼 네트워크(ResNet)를 연속 동역학 시스템으로 모델링하고, 주어진 벡터장 집합 𝔽 에 의해 구동되는 흐름이 목표 미분동형사상을 근사하는 데 필요한 최소 시간(깊이)을 기하학적으로 해석한다. 최소 시간은 서브-핀셀 다양체 위의 측지거리로 정의되며, 이 거리의 국소 노름은 𝔽에 대한 변분 원리로 특징지어진다. 따라서 목표 함수와 네트워크 구조 간의 호환성이 근사 효율을 결정한다는 새로운 관점을 제공한다.
저자: Jingpu Cheng, Qianxiao Li, Ting Lin
본 논문은 현대 딥러닝에서 핵심적인 역할을 하는 Residual Network(ResNet)를 연속 동역학 시스템으로 해석하고, 이 시스템이 목표 변환을 근사하는 데 필요한 최소 시간(즉, 네트워크 깊이)을 기하학적으로 분석한다.
1. **문제 설정**
- 입력 공간 \(X\subset\mathbb R^d\)와 출력 공간 \(Y\subset\mathbb R^m\) 사이의 목표 함수 \(F:X\to Y\)를 근사하기 위해 ResNet은
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기