다변량 커널 회귀를 위한 최적 불확실성 경계

본 논문은 안전이 요구되는 학습 기반 제어 분야에서 핵심적인 역할을 하는 커널 회귀, 특히 다변량 Gaussian Process(GP) 회귀의 불확실성 경계를 기존 방법들의 한계를 극복하면서도 실용적으로 활용할 수 있도록 새롭게 제시한다. 먼저, 저자는 다변량 함수 f 에 대한 RKHS(재생 커널 힐베르트 공간) 가정과, 잡음 w 가 여러 개의 타원형 집합 {wᵀP_w^j w ≤ Γ_{w,j}²} 으로 제한된다는 일반적인 전제(Assumption 1)를 설정한다. 이 전제는 점별 상한, 전체 에너지 상한 등 기존의 다양한 잡음 모델을 하나의 프레임워크로 통합한다. 또한, 함수 f 의 RKHS 노름이 알려진 상수 Γ_f 보다 작다는 제한(Assumption 2)도 도입한다. 이러한 가정 하에, 논문은 특정 입력 x_{N+1} 에서 방향 h 에 대한 최악값 sup_{f,w} hᵀf(x_{N+1}) 을 구하는 최적화 문제(3)를 정의한다. 제약은 (i) 측정식 c_iᵀf(x_i)+w_i = y_i, (ii) 잡음 타원 제약, (iii) RKHS 노름 제한이다. 문제(3)는 원래 비선형·제한된 형태이지만, 저자는 강한 이중성(strong duality)을 이용해 이를 무제약 이중 함수 형태로 변환한다. 핵심 아이디어는 잡음 파라미터 σ ∈ ℝ_{>0}^{n_con}을 도입하고, 이를 기반으로 ‘가상의’ 잡음 공분산 K_w^σ = (∑_{j=1}^{n_con} σ_j^{-2} P_w^j)^{-1} 을 정의하는 것이다. 이렇게 하면 기존의 잡음 공분산을 고정값으로 두는 대신, σ를 최적화 변수로 취급함으로써 경계 자체를 데이터와 목적에 맞게 조정할 수 있다. Theorem 1은 최적화된 경계의 구체적 형태를 제시한다. 먼저, σ에 의해 정의된 GP 사후 평균 μ_σ(x_{N+1})와 공분산 Σ_σ(x_{N+1})를 구한다. 여기서 μ_σ = K_{f,N+1,1:N} C Ķ_σ^{-1} y, Σ_σ = K_{f,N+1,N+1} − K_{f,N+1,1:N} C Ķ_σ^{-1} Cᵀ K_{f,1:N,N+1}이며, Ķ_σ = CᵀK_{f,1:N,1:N}C + K_w^σ이다. 이후 스칼라 β_σ = √{Γ_f² + ∑_{j=1}^{n_con} Γ_{w,j}²/σ_j² − ‖y‖²_{Ķ_σ^{-1}}} 를 정의하고, 최종 경계는  f_σ^h(x_{N+1}) = hᵀμ_σ(x_{N+1}) + β_σ √{hᵀΣ_σ(x_{N+1})h} 의 형태를 갖는다. 이 식은 모든 σ>0에 대해 상한을 제공하고, σ를 최적화하면 (3)의 정확한 최악값과 일치한다는 점에서 ‘최적’ 경계임을 증명한다. 또한, β_σ는 전체 RKHS 노름에서 데이터에 의해 설명된 부분을 뺀 잔여량을 의미하며, 잡음 제약이 강할수록(σ가 작을수록) β_σ가 커져 보수성이 증가한다는 직관적인 해석을 제공한다. Corollary 1은 위 결과를 벡터 형태로 일반화한다. 즉,  ‖f(x_{N+1}) − μ_σ(x_{N+1})‖_{Σ_σ^{-1}} ≤ β_σ 라는 타원형 불확실성 집합을 얻는다. 이는 기존의 스칼라 출력 전용 경계들을 모두 포함하고, 특히 고정된 σ값을 사용한 경우와 비교했을 때 보수성이 크게 감소한다. 논문은 이러한 결과가 기존 문헌과 어떻게 연결되는지 상세히 논의한다. 예를 들어, 점별 잡음에 대한