소개

딥 리지듀얼 네트워크는 신경망 설계의 패러다임 변화를 가져왔으며, 이전에 없던 깊이의 모델을 안정적으로 학습할 수 있게 했습니다. 그 핵심 메커니즘인 항등 단축 연결은 입력 $\Xb$에 대한 잔차 함수 $\Fb(\Xb)$를 학습하도록 층을 재구성합니다. 표준 형태에서는, 잔차 업데이트는 요소별 덧셈입니다:

\begin{equation}
\label{eq:standard_res}
\Xb_{l+1} = \Xb_l + \Fb(\Xb_l)
\end{equation}

이것을 $`1`$ 단계 크기의 전방 오일러 스텝으로 볼 수 있습니다. 이 관점은 깊은 네트워크를 동역학 시스템과 연결합니다. 엄격한 덧셈 업데이트는 학습된 동역학에 강력한 변위 편향을 부여합니다. 단축 경로는 항등 연산자의 고정 제이코비안을 유지합니다.

이 유연성이 네트워크가 표현할 수 있는 상태 전환을 제한합니다. 최근 연구에서는 진동이나 반대 행동 등의 패턴을 모델링하는 데 더 유연한 변환, 특히 음의 고유값을 실현하는 것이 필요하다는 것을 지적하고 있습니다.

이 한계를 극복하기 위해, 우리는 기하학적 선형 대수에 근거한 잔차 연결의 원칙적인 일반화를 제안합니다. 딥 델타 학습(DDL) 을 소개하며, 이는 학습 가능한 랭크-1 변환을 숨겨진 상태 행렬 $`\Xb \in \RR^{d \times d_v}`$에 적용하는 새로운 잔차 블록을 특징으로 합니다. 이러한 표현은 네트워크의 깊이를 메모리 확장 아키텍처와 일치시키며, 숨겨진 상태를 동적 값 행렬로 처리합니다. 이 블록은 단일 학습 가능한 스칼라 게이트 $`\beta(\Xb)`$을 사용하여 표준 잔차 연결, 직교 투영 연산자 및 전체 기하학적 반사를 부드럽게 보간합니다. 우리의 기여는 다음과 같습니다:

1. 델타 리지듀럴 블록을 제안합니다. 이는 일반화된 하우스홀더 연산자를 행렬 값 단축 경로에 적용하는 다중 분기 아키텍처입니다. 이는 학습 가능한 방향 $`\kb(\Xb)`$와 게이트 $`\beta(\Xb)`$로 매개변수화되며, Figure 1에 설명되어 있습니다.

2. 델타 오퍼레이터의 스펙트럼 분석을 제공합니다. 우리는 이 고유 시스템을 유도하고, $`\beta(\Xb)`$가 변환을 조정하는 방법을 보여줍니다.

3. 항등 매핑, 투영 및 반사를 하나의 연속적으로 미분 가능한 모듈로 통합했습니다. 또한 DDL은 델타 규칙 업데이트를 복원하며, 게이트 $`\beta`$는 깊이별 단계 크기를 수행합니다.

델타 리지듀럴 블록

우리는 하우스홀더 반사의 수학적 기반 위에 우리의 방법을 구축하고 이를 학습 가능하고 상태 종속적인 연산자로 일반화합니다.

전제: 하우스홀더 변환

\begin{equation}
\Hb_{\kb} = \Ib - 2 \frac{\kb \kb^{\top}}{\|\kb\|_2^2}
\end{equation}

하우스홀더 행렬은 수치 선형 대수의 중심이며, 다음과 같은 주요 속성을 가지고 있습니다: 이는 대칭($`\Hb_{\kb} = \Hb_{\kb}^{\top}`$), 직교($`\Hb_{\kb}^{\top} \Hb_{\kb} = \Ib`$) 및 자기 반전($`\Hb_{\kb}^2 = \Ib`$). 그 스펙트럼은 단일 고유값 $`-1`$ (고유 벡터 $`\kb`$)과 $`d-1`$ 개의 고유값 $`1`$ (고유 공간 $`\kb^{\perp}`$)을 포함합니다.

델타 오퍼레이터의 표현

우리는 상수 요소인 $`2`$를 학습 가능하고 데이터 종속적인 스칼라 게이트, $`\beta(\Xb)`$로 대체하여 하우스홀더 행렬을 일반화합니다. 이는 델타 리지듀럴 (Delta-Res) 블록을 생성합니다. 숨겨진 상태가 행렬 $`\Xb \in \RR^{d \times d_v}`$, 여기서 $`d`$는 특성 차원이고, $`d_v`$는 값 채널의 수를 나타냅니다. 우리는 덧셈 잔차를 반사 벡터 $`\kb`$와 일치하는 랭크-1 업데이트로 수정합니다. 블록 출력은 다음과 같이 계산됩니다:

\begin{equation}
\label{eq:gated_hres_out}
\Xb_{l+1} = \Ab(\Xb_l)\Xb_l + \beta(\Xb_l)\kb(\Xb_l)\vb(\Xb_l)^{\top}
\end{equation}

여기서 $`\vb \in \RR^{d_v}`$는 분기 $`\Fb: \RR^{d \times d_v} \to \RR^{d_v}`$에서 생성된 잔차 값 벡터입니다. 여기, 외적 $`\kb\vb^\top`$가 덧셈 업데이트를 구성합니다. 특히, 우리는 게이트 $`\beta(\Xb)`$를 이 구성 요소에 적용하여 지움과 쓰기 연산을 연결합니다. 항목 $`\Ab(\Xb)`$는 특성 차원 $`d`$에서 공간적으로 작용하는 델타 오퍼레이터입니다:

\begin{equation}
\label{eq:gated_matrix}
\Ab(\Xb) = \Ib - \beta(\Xb) \frac{\kb(\Xb) \kb(\Xb)^{\top}}{\kb(\Xb)^{\top} \kb(\Xb) + \epsilon}
\end{equation}

아키텍처는 반사 방향 $`\kb(\Xb) \in \RR^d`$, 값 벡터 $`\vb(\Xb) \in \RR^{d_v}`$ 및 반사 강도 $`\beta(\Xb) \in \RR`$를 각각 가볍게 설계된 신경망 분기로 학습합니다. 상수 $`\epsilon > 0`$는 수치 안정성을 보장합니다. 이론적 분석을 위해, 우리는 $`\kb`$가 엄격히 정규화되어 $`\kb^{\top}\kb=1`$ (참고: 7 장의 구현 세부 사항)라는 조건을 가정합니다. 이 조건 ($`\epsilon \to 0`$) 하에서, 연산자는 다음과 같이 간소화됩니다:

\begin{equation}
\Ab(\Xb) = \Ib - \beta(\Xb) \kb(\Xb)\kb(\Xb)^{\top}
\end{equation}

X가 행렬이므로, 연산자 $`\Ab(\Xb)`$는 값 차원 $`d_v`$에 대해 브로드캐스트되어 숨겨진 상태의 모든 열에 기하학적 변환을 동시에 적용합니다.

동일한 단위 정규화 조건 하에서, $`\Ab(\Xb)=\Ib-\beta(\Xb)\kb(\Xb)\kb(\Xb)^\top`$를 Eq. [eq:gated_hres_out]에 대입하면 다음과 같은 추가적이고 랭크-1 델타 형태가 도출됩니다:

\begin{equation}
\label{eq:ddl_additive}
\Xb_{l+1} = \Xb_l + \beta(\Xb_l)\,\kb(\Xb_l)\Big(\vb(\Xb_l)^{\top} - \kb(\Xb_l)^{\top}\Xb_l\Big),
\end{equation}

이는 동일한 스칼라 $`\beta`$가 지움 항 $`\kb^\top\Xb`$와 쓰기 항 $`\vb^\top`$를 모두 조절한다는 것을 명시적으로 나타냅니다.

게이트 함수 $`\beta(\Xb)`$는 상태 특징을 추출한 후 시그모이드 함수로 투영하여 범위 $`[0, 2]`$에 매핑됩니다:

\begin{equation}
\label{eq:beta_param}
\beta(\Xb) = 2 \cdot \sigma(\operatorname{Linear}(\mathcal{G}(\Xb)))
\end{equation}

여기서 $`\mathcal{G}(\cdot)`$는 풀링, 합성곱 또는 평탄화 작업입니다. 이 특정 범위는 다음에서 분석할 풍부한 기하학적 해석을 위해 선택되었습니다.

분석

델타 리지듀럴 블록의 표현력은 게이트 $`\beta(\Xb)`$에 의해 제어되는 오퍼레이터 $`\Ab(\Xb)`$의 스펙트럼 속성에서 오는 것입니다.

델타 오퍼레이터의 스펙트럼 분해

\begin{equation}
\sigma(\Ab) = \{ \underbrace{1, 1, \dots, 1}_{d-1 \text{ times}}, 1-\beta \}
\end{equation}

\begin{equation}
\Ab\ub = (\Ib - \beta \kb\kb^{\top})\ub = \Ib\ub - \beta \kb(\kb^{\top}\ub) = \ub - \beta \kb(0) = \ub = 1 \cdot \ub
\end{equation}

\begin{equation}
\Ab\kb = (\Ib - \beta \kb\kb^{\top})\kb = \Ib\kb - \beta \kb(\kb^{\top}\kb) = \kb - \beta \kb(1) = (1-\beta)\kb
\end{equation}

이 정리는 게이트 $`\beta(\Xb)`$에 대한 명확하고 강력한 해석을 제공합니다. 네트워크는 단일 스칼라를 학습하여 모든 $`d_v`$ 열의 상태 행렬을 동시에 동적으로 제어할 수 있습니다.

행렬 값 상태로의 확장

위의 스펙트럼 진술은 공간적입니다: 이들은 선형 맵 $`\ub\mapsto \Ab\ub`$를 설명합니다. 숨겨진 상태가 행렬 $`\Xb\in\RR^{d\times d_v}`$이고 단축 경로가 왼쪽 곱셈을 통해 작용하므로, 각 $`d_v`$ 열은 동일한 $`\Ab`$에 의해 독립적으로 변환됩니다. 즉, 벡터화하더라도 유도된 선형 연산자는 $`\Ib_{d_v}\otimes \Ab`$입니다. 따라서 확장된 맵의 스펙트럼은 고유값 $`\Ab`$가 $`d_v`$번 반복되고 결정식은 $`\det(\Ab)^{d_v}`$입니다.

직교 조건

$`\Ab`$는 대칭이므로, 특이값은 그 고유값의 절댓값과 일치합니다. 특히, $`\Ab`$가 직교인 것은 $`|1-\beta|=1`$, 즉 단위 정규화 가정 하에서 $`\beta\in\{0,2\}`$임을 의미합니다. $`\beta\in(0,2)`$일 때, $`\Ab`$는 $`\kb`$를 따라 비동형축소를 수행하며 ($`\beta>1`$인 경우 $`\kb`$에 대해 부호를 반전시킵니다).

\begin{equation}
\det(\Ab(\Xb)) = \prod_{i=1}^{d} \lambda_i = 1^{d-1} \cdot (1-\beta(\Xb)) = 1-\beta(\Xb)
\end{equation}

단축 경로가 $`d_v`$ 값 열에 걸쳐 브로드캐스트되므로, 전체 행렬 상태 공간 $`\RR^{d\times d_v}`$(즉, $`\mathrm{vec}(\Xb)\in\RR^{d d_v}`$)에서 유도된 결정식은 $`\det(\Ab(\Xb))^{d_v}=(1-\beta(\Xb))^{d_v}`$입니다. 따라서 $`\beta(\Xb)`$는 공간 방향 $`\kb(\Xb)`$에 따라 부호 부피 변화를 제어합니다; 특히, $`\beta(\Xb)>1`$은 음의 공간 고유값(반사)을 도입하며, 전체 방향은 $`d_v`$가 홀수일 때만 바뀝니다.

기하학적 연산의 통합

정리 [thm:spectrum]는 게이트 $`\beta(\Xb)`$가 범위 $`[0, 2]`$에서 세 가지 기본적인 선형 변환을 보간할 수 있음을 드러냅니다.

• 항등 매핑($`\beta(\Xb) \to 0`$): $`\beta \to 0`$일 때, 고유값 $`1-\beta \to 1`$. 모든 $`\Ab(\Xb)`$의 고유값이 $`1`$으로 변하므로, $`\Ab(\Xb) \to \Ib`$. 게이트 $`\beta`$가 주입 항 $`\beta \kb \vb^\top`$를 조절하기 때문에 전체 업데이트가 사라지며, $`\Xb_{l+1} \approx \Xb_l`$. 매우 깊은 네트워크에서 신호 전달을 유지하는 데 중요한 항등 행위입니다.

• 직교 투영($`\beta(\Xb) \to 1`$): $`\beta \to 1`$일 때, 고유값 $`1-\beta \to 0`$. 오퍼레이터 $`\Ab(\Xb)`$는 $`\Ib - \kb\kb^\top`$, 즉 하이퍼플레인 $`\kb^\perp`$으로의 직교 투사기(순위 $`d-1`$)가 됩니다. 입력 상태 $`\Xb`$의 각 열에 대한 $`\kb`$ 평행 구성 요소가 명시적으로 제거(“잊음”)된 다음 잔차가 추가됩니다. 오퍼레이터는 특이값을 가지며, $`\det(\Ab) \to 0`$. 전체 블록(Eq. [eq:ddl_additive])에서 이 제도는 $`\kb`$에 따라 대체: 단축 경로가 $`\kb`$ 구성 요소를 제거하고, 랭크-1 쓰기 항은 $`\vb^\top`$에 의해 지정된 새로운 $`\kb`$ 구성 요소를 주입합니다.

• 전체 반사($`\beta(\Xb) \to 2`$): $`\beta \to 2`$일 때, 고유값 $`1-\beta \to -1`$. 오퍼레이터 $`\Ab(\Xb)`$는 $`\Ib - 2\kb\kb^\top`$, 즉 표준 하우스홀더 행렬이 됩니다. 이는 각 $`\Xb`$의 열을 $`\kb^\perp`$에 대해 완벽하게 반사합니다. 이 범위에서 유일하게 변환은 직교이며 공간 부피를 보존하며, $`\det(\Ab) \to -1`$. 음의 공간 결정식은 기저의 방향 변화(반사)를 나타냅니다. 항등 케이스($`\beta=0`$)와 함께 이는 범위 $`[0,2]`$에서 단축 오퍼레이터 $`\Ab`$가 직교인 유일한 설정입니다. 전체 블록은 추가로 동기화된 랭크-1 쓰기 항을 적용하여 들어오는 상태의 반사 후에 $`\kb`$에 맞춰 쓰기를 수행합니다.

특수 사례: 게이트 잔차 학습

딥 델타 학습의 중요한 성질은 게이트 스칼라의 극한에서의 동작입니다. 게이트가 0으로 수렴($`\beta(\Xb) \to 0`$)할 때, 델타 오퍼레이터는 항등 행렬로 수렴($`\Ab(\Xb) \to \Ib`$), 그리고 생성적인 항은 사라집니다. 따라서 Equation [eq:gated_hres_out]의 업데이트 규칙은 다음과 같이 간소화됩니다:

\begin{equation}
\Xb_{l+1} = \Xb_l
\end{equation}

이는 항등 매핑을 복원하며, 매우 깊은 네트워크를 학습하기 위해 종종 필요한 제로 초기화 전략과 일치합니다. 반면 $`\beta \approx 1`$일 때, 레이어는 게이트 $`\beta`$가 업데이트의 크기를 관리하는 학습된 단계 크기로서 작용하는 Gated Rank-1 Matrix ResNet으로 기능합니다. 이를 통해 DDL은 지적적으로 조합을 도입함으로써 잔차 학습을 일반화합니다.

대각 행렬 특성 사례

델타 오퍼레이터의 혼합 속성을 더 잘 이해하기 위해, 입력 상태 $`\Xb \in \RR^{d \times d}`$가 정사각형 대각행렬인 경우를 고려해봅시다. 이는 값 차원에 걸쳐 특성이 완전히 분리된 상태를 나타냅니다. $`\Ab`$의 적용은 다음과 같습니다:

\begin{equation}
(\Ab\Xb)_{ij} = (\Xb - \beta \kb \kb^\top \Xb)_{ij} = \lambda_i \delta_{ij} - \beta \lambda_j k_i k_j
\end{equation}

특히, 대각 원소($`i # Limit to 15k chars for stability