다중 커널 학습의 확률론적 통합 관점

초록

본 논문은 다중 커널 학습(MKL)을 정규화 위험 최소화와 베이지안 증거 최대화라는 두 주요 패러다임을 하나의 확률론적 프레임워크로 통합한다. 회귀, 강인 회귀, 분류 문제에 적용 가능한 일반 목적의 목표 함수를 제시하고, 이는 마진 가능도(Marginal Likelihood)의 하한이며 기존 여러 정규화 위험 방법을 특수 사례로 포함한다. 또한, 비볼록 최적화 문제를 “거의 뉴턴” 방식으로 해결하는 효율적이고 수렴이 보장된 알고리즘을 제시한다.

상세 분석

이 논문은 커널 기반 학습을 함수 공간에서의 정규화 위험 최소화와 확률적 가우시안 프로세스(GP) 모델링이라는 두 관점으로 재조명한다. 기존 MKL은 커널 가중치 θ에 ℓ₁·ℓ_p 제약을 두어 선형 결합 K(θ)=∑ₘθₘKₘ을 최적화했으며, 이는 목표 함수 φ_MKL(θ)=min_u uᵀK(θ)^{-1}u+ C∑_iℓ(y_i,u_i)+λ‖θ‖_p^p 형태로 표현된다. 여기서 ℓ는 손실 함수이며, λ‖θ‖_p^p는 θ를 제한하는 정규화 항이다.

저자는 이 정규화 항을 베이지안 관점에서 로그 행렬식 항 ln|K(θ)|와 연결한다. ln|K(θ)|는 사전 분포의 정규화 상수이며, θ가 무한대로 커지는 경우 로그 행렬식이 무한히 커져 과적합을 자연스럽게 억제한다(Occam’s razor). Fenchel 이중성을 이용해 ln|K(θ)|를 λ‖θ‖_p^p 형태의 상한으로 근사함으로써, 기존 MKL의 정규화가 베이지안 증거 최대화의 근사임을 보인다.

또한, MAP 추정 φ_MAP(θ)=min_u uᵀK(θ)^{-1}u−2∑_i ln P(y_i|u_i)+ln|K(θ)|를 도입해, θ와 u를 동시에 최적화하는 비볼록 문제를 제시한다. 이때 ln|K(θ)|는 볼록이 아니므로 전체 목표는 조인트 컨벡스가 아니다. 그러나 저자는 K↦uᵀK^{-1}u+ln|K|가 invex 함수임을 증명해, 모든 정류점이 전역 최소점임을 보장한다.

마지막으로, 완전 베이지안 접근인 marginal likelihood maximization(MLM) φ_MLM(θ)=−2 ln ∫ N(u|0,K(θ)) P(y|u) du를 다룬다. 비가우시안 likelihood에 대해서는 라플라스 근사, EP, 변분 추정 등 다양한 근사 방법을 적용할 수 있음을 언급한다. 특히 가우시안 likelihood 경우 φ_GAU(θ)=yᵀ(K(θ)+σ²I)^{-1}y+ln|K(θ)+σ²I|가 닫힌 형태로 얻어지며, 이는 MAP와 거의 동일한 구조를 가진다.

알고리즘적으로는 이중 루프 구조를 제안한다. 외부 루프에서는 θ를 업데이트하고, 내부 루프에서는 주어진 θ에 대해 u를 MAP 혹은 근사 posterior 평균으로 계산한다. 내부 최적화는 K^{-1}u 형태의 선형 시스템을 해결하거나, 근사 inference를 통해 기대값을 얻는다. 외부 업데이트는 ln|K(θ)|의 그라디언트를 정확히 계산하거나, Fenchel 이중을 이용한 상한을 사용해 효율적인 서브그라디언트/프로젝션 스텝을 수행한다. 수렴성은 각 단계가 목표 함수를 비감소시키는 점을 이용해 보장한다.

핵심 기여는 (1) 정규화 위험 기반 MKL과 베이지안 증거 최대화 사이의 정확한 수학적 연결 고리 제시, (2) 로그 행렬식 항을 정규화 항의 상한으로 해석함으로써 기존 MKL이 베이지안 근사임을 명시, (3) 비볼록 MAP 최적화가 invex 구조를 가짐을 증명해 전역 최적성을 보장, (4) 실용적인 이중 루프 최적화 알고리즘을 설계해 대규모 데이터에서도 적용 가능하도록 만든 점이다.