신경망 매니폴드의 피셔 메트릭을 정확히 추정하는 새로운 경계와 무작위 방법

초록

본 논문은 딥 뉴럴 네트워크 파라미터 공간(Neuromanifold)에 정의되는 피셔 정보 행렬(FIM)의 정확한 계산을 목표로 한다. 저자는 저차원 확률 단순체(core space)의 스펙트럼 특성을 분석하고, 이를 기반으로 고차원 네트워크 파라미터 공간에 대한 결정론적 상·하한을 제시한다. 또한 Hutchinson 트레이스 기법을 이용한 편향 없는 무작위 추정기를 설계하고, 단일 역전파 패스로 효율적으로 구현할 수 있음을 보인다. 이론적 경계와 분산 분석을 통해 제안된 방법이 기존 경험적 피셔(EMF)보다 더 타이트하고 계산 비용이 낮음을 실험적으로 입증한다.

상세 분석

논문은 먼저 분류 모델 p(y|x,θ)의 출력 로짓 z(x,θ)를 통해 고차원 파라미터 공간 Θ와 저차원 확률 단순체 Δ 사이의 풀백 메트릭 구조를 식(2)로 명시한다. 여기서 핵심은 코어 공간의 피셔 행렬 I_Δ(z)=diag(p)−ppᵀ이며, 이는 순위 1의 커널을 가진 반정치 양정(PSD) 행렬이다. Theorem 1은 I_Δ(z)의 고유값 구조를 정확히 규정한다. λ₁=0, λ_C는 최대 정보 방향이며, λ_C는 max{p_i(1−p_i)}와 1−‖p‖² 사이에서 상·하한이 잡힌다. 이 경계는 p의 순위 통계(두 번째로 큰 원소 p(C−1)와 가장 큰 원소 p(C))에 의존한다는 점에서, 출력 확률이 한‑핫에 가까워질수록 λ_C는 p(C)−p(C−1) 정도로 수축한다.

Lemma 2는 I_Δ(z)를 두 개의 간단한 행렬로 둘러싼 ‘envelope’를 제시한다. 상한은 대각 행렬 diag(p)이며, 이는 각 클래스별 변동성을 직접 반영한다. 하한은 λ_C·v_Cv_Cᵀ 형태의 순위‑1 행렬로, 이는 가장 정보가 풍부한 방향만을 보존한다. Lemma 3은 이 두 경계와 실제 I_Δ(z) 사이의 Frobenius 거리 상한을 제공한다. 특히 하한은 p의 트리밍된 L2 노름에 비례하므로, 확률 분포가 균등에 가까울수록 매우 정확한 근사치를 제공한다. 반면 상한은 언제나 최소 1/C의 오차를 갖는다.

코어 공간에서의 무작위 추정은 R(y)=(e_y−p)(e_y−p)ᵀ 로 정의되며, 이는 I_Δ(z)의 무편향 추정량이다. 그러나 Lemma 4는 최악의 경우 R(y)와 I_Δ(z) 사이의 차이가 2‖p‖²−2p₁ 정도까지 커질 수 있음을 보여, 단일 샘플 기반 추정이 불안정할 수 있음을 경고한다.

고차원 네트워크에 대한 결정론적 경계는 Proposition 5에서 제시된다. 여기서는 각 입력 x에 대해 코어 공간의 고유값 λ_i와 고유벡터 v_i를 Jacobian J=∂z/∂θ와 결합해,
∑{i=C−k+1}^{C} λ_i Jᵀ v_i v_iᵀ J ⪯ F_Δ(θ) ⪯ ∑{y=1}^{C} p(y|x,θ) J_y J_yᵀ
와 같은 형태의 하·상한을 만든다. k를 C−1으로 두면 하한은 정확히 λ_C v_C v_Cᵀ 형태가 되며, 이는 코어 공간의 가장 정보가 풍부한 방향을 그대로 끌어올린다. Corollary 6은 이 경계들을 트레이스 연산으로 축소해, 전체 스케일을 빠르게 추정할 수 있음을 보여준다.

Proposition 7과 8은 각각 상한과 하한의 타이트함을 정량화한다. 상한의 오차는 ‖p‖₂·σ_C²(J) 로, 즉 출력 확률의 L2 노름과 Jacobian의 최대 singular value에 비례한다. 반면 하한의 오차는 trimmed probability들의 제곱합과 σ_C²(J)의 곱으로, 확률이 한‑핫에 가까워질수록 거의 0에 수렴한다. 따라서 실무에서는 하한이 더 실용적인 근사치가 된다.

무작위 추정기로는 Hutchinson 트레이스 기법을 차용한 ˆF_H(θ)=1/m ∑_{k=1}^m (Jᵀ v_k)(v_kᵀ J) 형태를 제안한다. 여기서 v_k는 Rademacher 혹은 표준 정규 분포를 따르는 무작위 벡터이며, E