신경망을 위한 좌표‑자유 표준 프레임워크

본 논문은 딥 뉴럴 네트워크(DNN)의 수학적 표기와 미분 과정을 표준화하고, 파라미터를 스칼라 단위로 분해하지 않는 좌표‑자유(framework‑free) 접근법을 제시한다. 서론에서는 현재 DNN이 레이어가 깊어질수록 복잡한 다이어그램과 비표준화된 표기로 인해 이해와 확장이 어려워진다는 문제점을 지적한다. 이를 해결하기 위해 저자는 내적 공간 \(E\) 와 그 위의 선형·쌍선형 연산자를 이용해 네트워크를 추상화한다. 2장에서는 기본적인 수학적 도구를 정리한다. 2.1절에서는 세 개의 내적 공간 \(E_1,E_2,E_3\) 사이의 선형 맵 \(L(E_1;E_2)\)와 쌍선형 맵 \(L(E_1,E_2;E_3)\)을 정의하고, 왼·오른 훅 연산 \(\triangleright,\triangleleft\) 과 어드조인트 \((\cdot)^{*}\) 의 성질을 제시한다. 2.2절에서는 1차·2차 도함수 \(Df, D^2f\) 를 내적 공간 사이의 선형·쌍선형 맵으로 표현하고, 체인 룰과 혼합 편미분의 대칭성을 증명한다. 특히 파라미터 \(\theta\)와 상태 변수 \(x\)를 동시에 갖는 함수 \(f(x;\theta)\)에 대해 상태에 대한 미분 \(Df(x;\theta)\)와 파라미터에 대한 미분 \(\nabla f(x;\theta)\)를 구분하고, 이들 사이의 관계를 명확히 한다. 2.3절에서는 원소별 함수 \(\Psi:E\to E\) 를 정의한다. \(\Psi\)는 기저 \(\{e_k\}\) 에 대해 각 성분에 동일한 실수 함수 \(\psi\) 를 적용하는 형태이며, 그 1차·2차 도함수 \(\Psi',\Psi''\) 를 원소별 미분으로 정의한다. 여기서 Hadamard 곱 \(\odot\) 을 일반 내적 공간에서도 정의하고, \(D\Psi(z)\cdot v = \Psi'(z)\odot v\), \(D^2\Psi(z)\cdot(v_1,v_2)=\Psi''(z)\odot v_1\odot v_2\) 임을 증명한다. 이 결과는 비선형 활성화 함수와 같은 원소별 연산을 좌표‑자유 형태로 미분할 수 있게 해준다. 3장에서는 본 프레임워크를 실제 신경망에 적용한다. 3.1절에서 네트워크를 층 \(i\) 마다 \(f_i:E_i\times H_i\to E_{i+1}\) 로 모델링하고, 파라미터 집합 \(\theta=\{\theta_1,\dots,\theta_L\}\) 를 각 \(H_i\) 에 존재하는 독립적인 내적 공간으로 본다. 전체 네트워크 함수는 합성 \(F(x;\theta)=f_L\circ\cdots\circ f_1(x)\) 으로 정의된다. 헤드 \(\alpha_i\)와 테일 \(\omega_i\) 맵을 도입해 \(F=\omega_{i+1}\circ f_i\circ\alpha_{i-1}\) 이라는 분해식을 얻고, 이를 이용해 손실 함수 \(J(x;\theta)=\frac12\|y-F(x;\theta)\|^2\) 에 대한 파라미터 그래디언트를 다음과 같이 구한다. \