KAN 신경망의 경사하강법: 최적화·일반화·차등프라이버시 통합 분석

초록

본 논문은 두 층 Kolmogorov‑Arnold Network(KAN)를 대상으로 경사하강법(GD)과 차등프라이버시(DP‑GD)의 학습 동작을 이론적으로 규명한다. NTK‑분리 가정 하에 로지스틱 손실을 분석하면, 폭이 polylog (n,T)인 경우 GD는 최적화 오차 O(1/T)와 일반화 오차 O(1/n)을 달성한다. DP‑GD에서는 (ε,δ)‑DP를 보장하기 위해 Gaussian 잡음 규모를 조정하면, 기대 인구 위험이 O(√d/(nε)) 이하가 되며, 이는 일반적인 볼록 Lipschitz 문제의 하한과 일치한다. 특히 차등프라이버시 상황에서는 폭이 polylog (n) 이상이어야만 위와 같은 효용을 얻을 수 있음을 보이며, 비프라이버시 경우와는 달리 폭에 대한 필요조건이 등장한다. 실험을 통해 이론적 가이드라인이 실제 폭 선택 및 조기 종료에 유용함을 확인한다.

상세 분석

본 연구는 KAN이라는 새로운 구조적 신경망에 대해 기존 MLP 이론이 적용되지 않는 문제점을 정확히 짚어낸다. KAN은 각 엣지에 일변 함수(예: B‑spline)를 학습시키는 방식으로, 입력 차원 d와 폭 m이 서로 다른 스케일로 작용한다. 논문은 두 층 KAN을 모델링하고, 파라미터를 하나의 벡터 Θ 에 집합함으로써 전통적인 신경망 분석 틀에 끼워 넣는다. 핵심 가정은 NTK‑separability이며, 이는 기대 NTK 행렬이 양의 최소 고유값 γ > 0을 갖는다는 의미이다. 이 가정은 기존의 강한 양정성 가정보다 약하며, 실제 데이터에 대해 더 넓게 적용될 수 있다.

우선 GD에 대해, 저자는 “reference‑point” 복합성을 도입해 초기화와 최적해 사이의 거리 Λ 와 훈련 손실 L_S(Θ*) 을 결합한 복합 지표 C_S(Θ*) 를 정의한다. 이를 통해 GD의 진행 과정에서 파라미터가 초기화 근처에 머무르는 것을 정량화하고, 폭 m ≥ polylog(n,T) 조건 하에 손실이 O(1/(γ² η T)) 로 감소함을 보인다. 여기서 η 는 학습률이며, γ는 NTK‑separability 마진이다. 즉, 폭이 다항이 아니라 로그 수준이면도 선형 수렴 속도를 확보할 수 있다.

다음으로 일반화 분석에서는, GD가 훈련 과정에서 초기화와의 거리 제한을 유지함으로써 암묵적 정규화 효과를 제공한다는 점을 강조한다. 이를 바탕으로 Rademacher 복잡도와 신경망의 선형화 특성을 결합해, 기대 인구 위험 L(Θ̂) 가 O(1/(γ⁴ n)) 이하가 됨을 증명한다. 이는 기존 KAN 이론이 제공하던 무관계(algorithm‑independent) 결과보다 훨씬 강력한, 알고리즘‑종속적인 빠른 수렴률이다.

차등프라이버시 측면에서는, 매 iteration마다 Gaussian 잡음을 추가하는 DP‑GD를 고려한다. 저자는 전체 학습 과정의 민감도(trajectory‑wise sensitivity)를 정확히 추정하고, 이를 기반으로 잡음 표준편차 σ ≈ (γ √d)/(n ε) 을 제시한다. 이때 (ε,δ)‑DP가 보장되며, 평균 인구 위험은 O(√d / (n ε)) 으로 제한된다. 흥미롭게도, 이 효용 한계는 일반적인 볼록 Lipschitz 문제에 대한 알려진 하한과 일치한다. 더 나아가, DP‑GD가 위 효용을 달성하려면 폭 m ≥ polylog (n) 조건이 필요함을 보이며, 비프라이버시 GD와 달리 폭에 대한 필요조건이 등장한다는 새로운 통찰을 제공한다.

실험 섹션에서는 합성 데이터와 실제 유전체 서열 분류 데이터를 사용해, 폭을 로그 수준으로 제한했을 때도 비프라이버시 GD가 빠르게 수렴하고, DP‑GD는 폭이 너무 크면 잡음이 증폭돼 성능이 저하되는 현상을 관찰한다. 또한 조기 종료 시점이 적절히 선택될 경우, DP‑GD의 효용이 크게 향상됨을 보여준다. 전체적으로 이론과 실험이 일관되게 맞물려, KAN 설계 시 폭 선택과 프라이버시 예산 할당에 대한 실용적인 가이드를 제공한다.