NTK의 최상위 고유함수로 보는 지름길 특징: 선형 신경망 사례와 확장

초록

본 논문은 Neural Tangent Kernel(NTK) 관점에서 지름길 학습(shortcut learning)을 분석한다. 선형 신경망을 대상으로, 데이터 클러스터의 불균형이 큰 고유값을 가진 NTK 고유함수와 연결됨을 보이고, 이러한 고유함수가 학습 속도와 최종 출력에 미치는 영향을 정량화한다. 또한, 마진 제어 기법을 적용해도 지름길 현상이 지속됨을 이론적으로 증명하고, 두 층 ReLU 네트워크와 ResNet‑18에서도 동일한 패턴을 실험적으로 확인한다.

상세 분석

논문은 먼저 NTK의 스펙트럴 바이어스(spectral bias)를 재조명한다. 무한 폭(width) 한계에서 NTK는 고정된 커널 K₀으로 수렴하고, 이 커널의 고유값 λᵢ가 클수록 해당 고유벡터 방향으로의 학습이 지수적으로 빠르게 진행된다(식 5). 저자들은 “특징(feature)”을 NTK의 고유함수 ϕᵢ로 정의하고, 데이터가 편향된 클러스터 구조를 가질 때(예: B_y,i와 C_y,i) 클러스터 가중치 π_B가 크게 설정되면, 해당 클러스터의 평균 벡터에 정렬된 고유벡터 v_i가 큰 λ_i를 갖게 된다(정리 3.1). 이는 편향된 속성(지름길)이 높은 고유값을 갖는 NTK 고유함수와 일치한다는 의미이며, 학습 초기에 이러한 고유함수가 빠르게 학습돼 모델이 지름길에 과도하게 의존하게 된다.

다음으로, 학습 수렴 후 각 고유함수가 최종 출력에 기여하는 가중치 w_k를 분석한다(정리 3.2). 선형 네트워크에서는 출력이 f(x)=∑_k w_k·(xᵀv_k) 형태로 분해되며, w_k는 클러스터 가중치 π_k와 평균 ‖μ_k‖²에 비례한다. 즉, 편향 클러스터가 더 큰 π를 가질수록 해당 고유함수의 기여도가 증대한다. 이는 고유값이 큰 고유함수가 학습 속도뿐 아니라 최종 결정 경계에도 지속적인 영향을 미친다는 것을 보여준다.

마진 제어 기법(SD, Marg‑Ctrl) 적용 실험에서도, NTK 고유함수의 구조가 변하지 않으므로 고유값이 큰 지름길 특성이 여전히 우세함을 수학적으로 증명한다. 따라서 “max‑margin bias”만으로 지름길 현상을 설명하기엔 부족함을 강조한다.

실험 부분에서는 두 층 ReLU CNN과 ResNet‑18을 사용해 실제 데이터(패치‑MNIST, 컬러‑MNIST, Waterbirds, CelebA, Dogs‑Cats)에서 “availability”(NTK 고유함수와의 정렬 정도)와 “predictability”(라벨 예측력)를 측정한다. 결과는 지름길 특성이 낮은 predictability와 높은 availability를 동시에 보이며, saliency map 분석에서도 고유값이 큰 특성들이 배경·패치·색상 등 편향된 영역에 집중됨을 확인한다.

전체적으로 논문은 NTK 스펙트럼이 데이터 불균형과 지름길 학습 사이의 연결 고리임을 이론·실험적으로 입증하고, 고유값이 큰 NTK 고유함수가 학습 초기 가속과 최종 출력 지배를 동시에 일으키는 메커니즘을 제시한다. 이는 향후 데이터 편향 완화와 모델 일반화 향상을 위한 커널 기반 설계 및 디버깅 전략에 중요한 통찰을 제공한다.