신경망 거리와 학습 안정성: 딥 상대 신뢰와 Fromage 최적화

본 논문은 현대 딥러닝에서 가장 흔히 사용되는 최적화 기법인 경사 하강법이, 파라미터 공간을 유클리드 거리 기반의 2차 신뢰 영역으로 모델링한다는 근본적인 한계에 주목한다. 신경망은 여러 층을 순차적으로 합성하는 구조이므로, 파라미터 변화가 손실 표면에 미치는 영향은 단순한 2차 형태가 아니라 각 층의 상대적인 변동이 곱해지는 형태로 나타난다. 이를 정량화하기 위해 저자들은 “딥 상대 신뢰(Deep Relative Trust)”라는 새로운 거리 함수를 정의한다. 먼저, 다층 퍼셉트론을 수학적으로 정의하고, 각 층의 가중치 행렬 W_l와 비선형 활성함수 ϕ를 이용해 네트워크 함수 f와 레이어‑출력 Jacobian J_l을 전개한다. 기존 연구에서 제시된 Lipschitz 연속성 가정이 실제 네트워크에서는 성립하지 않으며, 특히 깊이가 깊어질수록 그래디언트가 지수적으로 증폭·소멸한다는 실험적 증거를 제시한다. 이러한 현상을 설명하기 위해 두 가지 가정을 도입한다. 첫 번째는 비선형 함수가 입력을 일정 비율(α ≤ ‖ϕ(x)‖/‖x‖ ≤ β)으로 전달한다는 전송 가정이며, 이는 leaky‑ReLU와 같은 활성함수에 적용 가능하다. 두 번째는 모든 가중치 행렬과 그 변동이 일정 조건수 κ 이하의 풀‑랭크 행렬이라는 조건이다. 이 두 가정 하에 정리 1을 증명한다. 정리 1은 동일한 구조를 가진 두 네트워크 f와 \tilde f 사이의 상대 함수 차이와 Jacobian 차이를, 각 레이어의 상대 파라미터 변동 ‖ΔW_l‖_F / ‖W_l‖_F 의 곱으로 상한한다. 구체적으로, ‖\tilde f(x) – f(x)‖ / ‖f(x)‖ ≤ (β/α)·κ²·∏_{l=1}^L (1 + ‖ΔW_l‖_F / ‖W_l‖_F) – 1, 그리고 유사한 형태의 Jacobian 상한을 제공한다. 이는 파라미터 변동이 레이어마다 독립적으로 작용하지만, 전체 네트워크에 대한 영향은 곱셈적 구조를 띠어 깊이가 커질수록 신뢰 영역이 quasi‑exponential하게 확장된다는 핵심 통찰을 제공한다. 다음 단계에서는 이 상대 신뢰를 활용한 하강 보조정리(Lemma 1)를 도출한다. 손실 함수 L(W)와 파라미터 그룹 W_l을 고려했을 때, 파라미터 변동 ΔW_l에 대한 손실 증가량은 L(W+ΔW) – L(W) ≤ –∑_{l=1}^L ‖g_l(W)‖_F‖ΔW_l‖_F cosθ_l + max_{t∈