다이어그램 전개를 통한 그래디언트 흐름: 학습 단계와 명시적 해법

초록

본 논문은 대규모 텐서 분해 문제에서 그래디언트 흐름(GF)의 손실 진화를 시간에 대한 멱급수로 전개하고, 각 항을 물리학의 파인만 다이어그램과 유사한 그래프 형태로 표현한다. 파라미터 스케일링, 텐서 차수, 대칭 여부에 따라 자유 진화, NTK, 평균장 등 서로 다른 학습 레짐을 체계적으로 구분하고, 일부 레짐에서는 1차 PDE를 특성선 방법으로 풀어 손실의 명시적 해를 얻는다. 실험 결과는 이론적 예측과 높은 일치를 보인다.

상세 분석

이 연구는 크게 네 가지 혁신적 요소를 제시한다. 첫째, 손실 L(t)을 시간 t에 대한 형식적 멱급수 L(t)=∑ₛ d⁽ˢ⁾L/dt⁽ˢ⁾(0)·tˢ/s! 로 전개하고, 각 도함수 d⁽ˢ⁾L/dt⁽ˢ⁾(0) 를 파라미터 u에 대한 다항식으로 표현한다. 여기서 u는 CP 분해 모델의 가중치 텐서이며, 초기값은 평균 0, 분산 σ²인 가우시안이다. 둘째, 이러한 다항식을 “다이어그램”이라 부르는 (하이퍼)그래프 구조에 대응시킨다. p‑노드(데이터 차원)와 H‑노드(모델 차원)를 연결하는 에지는 색(텐서 차원)으로 구분되며, 다이어그램의 병합 연산 ⋆ 은 파라미터에 대한 미분 연산 ∂G/∂u·∂G′/∂u 를 그래프적으로 구현한다. 셋째, 가우시안 초기화에 대한 평균을 Wick 정리를 이용해 수행하면, 각 다이어그램은 에지 쌍을 짝짓는 모든 파티션에 대해 수축된 그래프 형태로 변환된다. 이때 얻어지는 단항식은 p, H, σ²의 거듭제곱 형태 p^q H^n σ^{2l} 로 요약되며, q는 남은 p‑노드 수, n은 남은 H‑노드 수, l은 원래 에지 수를 의미한다. 넷째, 대규모 한계(p, H →∞)에서 파라미터 스케일링을 p≈a^{α_p}, H≈a^{α_H}, σ≈a^{α_σ} (a→∞) 로 가정하고, 각 항의 지배적 거듭제곱을 α‑벡터와의 내적 α·(q,n,l) 로 평가한다. 이때 “Pareto‑optimal” 항은 동일한 l에 대해 (q,n) 쌍이 다른 항보다 모두 크거나 같은 경우를 말하며, 실제로는 최소한으로 노드 수를 수축시킨 다이어그램에서 등장한다. 논문은 정체성 텐서(F_{i₁…i_ν}=δ_{i₁…i_ν})를 목표로 할 때, SYM(대칭)과 ASYM(비대칭) 두 시나리오에 대해 Pareto 다각형을 완전히 규정하고, 각 꼭짓점이 의미하는 학습 레짐을 해석한다. 예를 들어, (q=n=0) 꼭짓점은 “자유 진화(free evolution)” 레짐으로, 파라미터가 거의 영향을 주지 않아 손실이 초기값에서 급격히 감소한다. (q=0, n>0) 혹은 (q>0, n=0) 영역은 각각 과소파라미터화(under‑parameterized)와 과다파라미터화(over‑parameterized) 평균장(mean‑field) 레짐에 대응한다. 특히, SYM 경우에는 NTK 레짐이 존재하지 않으며, 이는 다이어그램 수축 과정에서 색(차원) 일치 조건이 강제되어 선형화가 불가능함을 의미한다. 반면 ASYM에서는 특정 스케일링(α_p=α_H, α_σ=0 등) 하에 D⋆…⋆D 형태의 다이어그램이 1차 PDE L_t + a L·L_x =0 로 귀결되어 특성선 방법으로 손실을 정확히 적분할 수 있다. 논문은 이러한 PDE를 네 가지 주요 경우(자유, NTK, 평균장, 과다파라미터화)에 대해 해를 제시하고, 실험적으로 손실 곡선이 이론적 특성선과 일치함을 확인한다. 전체적으로, 다이어그램 전개와 Pareto 분석을 결합한 프레임워크는 기존에 제한적이던 NTK와 평균장 이론을 넘어, 비선형 GF의 명시적 해를 제공하는 강력한 도구임을 증명한다.