효율적인 증류 신경탄젠트 커널 분석

초록

본 논문은 데이터 차원을 NTK‑튜닝된 데이터셋 증류로 압축함으로써 신경탄젠트 커널(NTK) 계산 비용을 크게 낮춘다. 증류된 데이터가 NTK의 접선 공간을 충분히 대변함을 보이고, 클래스별 NTK 행렬이 저효율 순위(low effective rank)를 유지한다는 사실을 이용해, 데이터 증류와 최신 랜덤 프로젝션·스케치 기법을 결합한 ‘증류 신경탄젠트 커널(DNTK)’을 제안한다. 실험 결과, 계산량과 메모리 사용량을 최대 10⁵배까지 감소시키면서도 예측 성능과 커널 구조를 거의 손상시키지 않는다.

상세 분석

이 논문은 NTK 계산이 파라미터 차원 P와 데이터 포인트 수 n에 대해 O(n²P)·O(n²) 복잡도를 갖는다는 기존 한계를 데이터 차원에서 접근한다는 점에서 혁신적이다. 저자는 먼저 실증적 NTK가 데이터, 파라미터, 그리고 그래디언트 서브스페이스 세 층에서 중복성을 보인다는 사실을 정리한다. 데이터 중복성은 K_c^{XX}의 고유값 스펙트럼이 빠르게 감소해 작은 r × r 서브셋만으로 (1‑ε) 분산을 보존한다는 정의로 제시된다. 파라미터 중복성은 Φ_c X(∈ℝ^{n×P})의 열공간이 낮은 차원 V⊂ℝ^P에 투사될 때 원본 NTK와 Frobenius 오차가 ε 이하가 되는 조건으로 정의된다.

핵심 아이디어는 데이터 증류가 이러한 서브스페이스를 직접 설계한다는 점이다. 증류된 입력 ˜X는 로그잇 그래디언트 ∇_θ f_c(˜x;θ)들의 열공간 V(˜D)=col(˜Φ^⊤)을 형성하고, 증류된 라벨 ˜Y는 해당 서브스페이스 내에서 손실 그래디언트를 선형 결합한다. 따라서 증류된 데이터는 NTK의 인덕팅 포인트 역할을 하며, K_c,Π^{XX}=Φ Π Φ^⊤ 형태의 Nyström 근사와 동일한 구조를 만든다.

이론적 기여는 세 가지 정리로 요약된다. 정리 3.3은 한 단계 업데이트에서 실제 손실 감소와 최적 서브스페이스 제한 업데이트 사이의 차이를 프로젝션 잔차 ‖(I‑Π)g_t‖² 로 bound한다. 정리 3.5는 기대 프로젝션 잔차를 최소화하는 최적 서브스페이스가 그래디언트 공분산 G=E