대규모 커널 방법을 딥러닝 수준으로 확장하기

본 논문은 대규모 학습 문제에 커널 방법을 적용하는 데 존재하는 주요 장애물, 즉 훈련 샘플 수에 대한 2차 복잡도와 높은 메모리 요구량을 극복하기 위한 일련의 기술적 혁신을 제시한다. 연구는 크게 두 축으로 전개된다. 첫 번째는 랜덤 푸리에 피처(RFF)를 이용해 커널 함수를 명시적 피처 공간으로 근사하는 방법을 확장·최적화하는 것이며, 두 번째는 이러한 피처를 활용해 다중 커널 학습(MKL)을 수행함으로써 데이터에 맞는 최적의 커널 조합을 자동으로 찾는 것이다. 1. **랜덤 피처 기반 커널 근사** Rahimi와 Recht(2010)의 작업을 기반으로, 저자들은 무한 차원의 커널 매핑 φ(x)를 D 차원의 피처 벡터 ˆφ(x)로 근사한다. 여기서 D는 수십만에서 수백만 수준으로 설정되며, 이는 훈련 샘플 수 N(수백만~수천만)보다 훨씬 작다. 피처는 ω∼p(ω)와 b∼Uniform