크리깅 기반 순차 탐색의 수렴 분석과 알고리즘 성능

초록

본 논문은 베이지안 관점에서 크리깅(가우시안 프로세스) 사전을 이용한 순차 탐색 알고리즘의 평균 오류 수렴 속도를 이론적으로 분석한다. 함수 근사와 전역 최적화 두 문제에 대해 비적응적 전략과 적응적 전략의 차이를 정량화하고, 특히 매트른 커버리언스가 갖는 정규성 파라미터 ν에 따라 최적 설계의 수렴률이 n⁻²ν/d 로 결정됨을 보인다.

상세 분석

이 논문은 먼저 함수 공간 F 와 목표 연산자 S: F → G 를 정의하고, n 번의 점별 평가를 통해 S(f) 를 추정하는 순차 알고리즘을 형식화한다. 전통적인 최악 사례 분석이 적응적 전략의 이점을 설명하지 못한다는 점을 지적하고, 베이지안 프레임워크를 도입한다. 여기서 f 는 파라미터 x∈ℝᵈ 위에 정의된 실값 랜덤 프로세스 ξ 의 샘플 경로로 가정한다. ξ는 평균이 0이고 연속적인 공분산 함수 k(x,y) 를 갖는 가우시안 프로세스로, 특히 k(x,y)=Φ(x−y) 형태를 만족하며 Φ의 푸리에 변환 \tildeΦ(u) 가 (1+‖u‖²)^{-s} 와 동등하게 감소한다( s>d/2 ). 이는 매트른 커버리언스의 정규성 파라미터 ν=s−d/2 와 동일하게 해석된다.

크리깅 예측 bₙ(x) 는 관측값 ξ(X₁),…,ξ(Xₙ) 에 대한 최소 평균제곱오차(MSE) 추정기로, MSE σₙ²(x) 는 선택된 설계 Xₙ 에 따라 달라진다. 논문은 먼저 근사 문제에 대해 비적응적 설계와 적응적 설계의 평균 MSE를 비교한다. 가우시안 가정 하에 적응적 설계는 비적응적 설계보다 평균 MSE 측면에서 절대적인 이득을 제공하지 못한다는 명제 2를 증명한다. 이는 σₙ²(x) 가 설계점들의 무작위 순열에 대한 기대값으로 표현될 수 있기 때문이다.

다음으로 비적응적 설계의 최적률을 분석한다. RKHS H 와 그 단위볼 H₁ 을 도입하고, MMSE(최대 MSE)와 IMSE(통합 MSE) 기준이 H₁ 내에서의 L^∞ 오차와 동등함을 보인다(명제 3). 이를 바탕으로 매트른 커버리언스가 만족하는 정규성 가정 하에, 비적응적 설계의 최적 IMSE와 MMSE는 모두 C·n^{-2ν/d} 의 수렴률을 갖는다(명제 4). 여기서 ν 은 매트른 커버리언스의 매끄러움 파라미터이며, 차원 d 에 따라 수렴 속도가 결정된다.

또한, 비적응적 설계 중에서도 단순한 그리디 전략 x_{i+1}=argmax_x σ²(x; x₁,…,x_i) 을 사용하면 동일한 차수의 수렴률을 유지한다(명제 5). 이는 Binev 등(2010)의 결과를 적용한 것으로, 그리디 선택이 다항식 수렴률을 보존한다는 점을 이용한다.

최적화 문제에 대해서는 S(ξ)=sup_{x∈X} ξ(x) 와 bₙ(ξ)=max_{i≤n} ξ(X_i) 를 정의하고, 평균 최적화 오류 ε_opt(Xₙ)=E