특징 기반 재현 커널 Banach 공간과 신경망 학습의 통합 이론

초록

본 논문은 점 평가 연속성만으로는 Banach 공간에서 특징 맵이나 재현 커널을 보장할 수 없다는 점을 지적하고, ‘featured RKBS’라는 새로운 개념을 도입한다. 특수 구조(특징 맵 유도, 전이공간 존재)를 만족할 때만 대표 정리와 유한 커널 전개가 가능함을 증명하고, 이를 벡터값 확장 및 고정 아키텍처 신경망과 연결시켜 함수 공간 관점에서 커널 방법과 신경망을 통합한다.

상세 분석

논문은 먼저 RKHS와 일반 RKBS를 비교하면서, Banach 공간에서는 점 평가 연속성(δₓ∈B*)이 재현 커널 존재를 자동으로 보장하지 않음을 명확히 한다. 이를 극복하기 위해 ‘featured RKBS’를 정의하고, 두 가지 핵심 구조를 제시한다. 첫째, 함수 공간 B가 어떤 특징 맵 Φ:X→E(전이 Banach 공간)으로부터 유도될 수 있어야 한다. 즉, 모든 f∈B는 ⟨f,Φ(x)⟩ 형태로 평가될 수 있으며, 이때 Φ의 이미지가 B의 전이공간(pre‑dual)와 동형이어야 한다. 둘째, 전이공간 E가 자체적으로 재현 커널 k_E를 갖는다면, B는 k(x,x′)=⟨Φ(x),Φ(x′)⟩_E 로 정의되는 커널을 물려받는다. 이러한 구조 하에서 최소‑노름 보간 및 정규화 문제는 존재성을 Hahn‑Banach 정리를 통해 보장하고, ‘조건부 대표 정리’를 증명한다. 조건부라 함은 정규화 함수가 노름‑단조(monotone)이며, 최적화 문제가 전이공간의 듀얼에 대한 서브다이버전스 형태로 표현될 때이다.

특히, 일반 RKBS에서는 해가 weak‑* 폐쇄된 무한 차원 집합에 머무를 수 있지만, featured RKBS에서는 전이공간의 완비성 덕분에 해가 훈련 샘플에 대한 유한 커널 전개 f(·)=∑_{i=1}^n α_i k(·,x_i) 형태로 나타난다. 이는 기존 RKBS 문헌에서 제시된 ‘희소 표현 정리’와는 다른, 보다 강력한 구조적 보장을 제공한다.

벡터값 확장은 전이공간을 K^m‑valued Banach 공간으로 바꾸어, 다중 출력 학습에 바로 적용 가능하도록 설계된다. 여기서 핵심은 각 출력 차원에 동일한 특징 맵을 공유하면서, 출력 간 교차 커널을 ⟨Φ(x),Ψ(x′)⟩ 형태로 정의할 수 있다는 점이다.

마지막으로, 고정 아키텍처 신경망(예: 깊이 L, 활성화 σ, 가중치 정규화 ‖·‖_p) 을 고려하면, 네트워크가 구현하는 함수 집합은 특정 특징 맵 Φ_ℓ (ℓ는 레이어) 의 합성으로 표현된다. 논문은 이러한 합성 맵이 Banach 공간 E에 대한 전이공간을 형성하고, 전체 네트워크가 featured RKBS에 정확히 대응함을 증명한다. 따라서 네트워크 학습을 최소‑노름 보간 문제로 재해석함으로써, 기존의 NTK 혹은 무한 폭 한계와는 별개로, 파라미터 ‖·‖_p 가 정의하는 Banach 기하학에 기반한 일반화 및 암시적 정규화 현상을 분석할 수 있는 새로운 수학적 기반을 제공한다.