두 층 커널 머신과 다중 커널 학습

본 논문은 커널 기반 학습 모델을 두 층 구조로 확장함으로써 기존의 단일층 커널 방법을 일반화하고, 다중 커널 학습(MKL)과의 관계를 명확히 규정한다. 1. **연구 배경 및 동기** 전통적인 커널 머신은 입력 공간과 출력 공간 사이에 하나의 비선형 매핑을 가정하고, 이 매핑을 RKHS의 원소로 표현한다. 그러나 실제 문제에서는 여러 단계의 비선형 변환이 필요할 수 있으며, 동시에 최적의 커널 형태를 데이터로부터 학습하고자 하는 요구가 있다. 이러한 요구를 충족시키기 위해 저자들은 “두 층 커널 머신(two‑layer kernel machines)”이라는 새로운 프레임워크를 도입한다. 2. **수학적 정의** 입력 x∈X를 중간 표현 z=h(x)∈Z 로 매핑하는 첫 번째 층 h와, 중간 표현을 최종 출력 y=g(z)∈Y 로 매핑하는 두 번째 층 g를 각각 RKHS H₁, H₂에 정의한다. 각각의 RKHS는 커널 K₁, K₂를 갖으며, 손실 함수 L(y, g∘h(x))와 정규화 항 Ω₁(‖h‖_{H₁})+Ω₂(‖g‖_{H₂})를 포함하는 정규화 위험 최소화 문제를 설정한다. 3. **두 층 구조에 대한 대표성 정리** 핵심 이론적 기여는 두 층 네트워크에 대한 대표성 정리이다. 저자들은 변분 문제의 최적 해 (h*, g*)가 각각의 RKHS에서 훈련 샘플 {x_i}_{i=1}^N에 대한 커널 평가의 유한 선형 결합으로 표현될 수 있음을 증명한다. 구체적으로, \