인증 기반 가지치기로 노이즈 라플라스 최적화

초록

본 논문은 노이즈가 섞인 블랙박스 함수의 라플라스 연속성을 활용해, 최적점 후보를 명시적으로 관리하는 “Certificate‑Guided Pruning (CGP)” 알고리즘을 제안한다. CGP는 신뢰구간과 라플라스 상한을 결합한 활성 집합 Aₜ를 정의해, 집합 밖의 모든 점을 고확률로 최적이 아님을 증명한다. 근접 차원 α에 기반한 마진 가정 하에 활성 집합 부피가 점진적으로 감소함을 보이며, 샘플 복잡도 \tilde O(ε^{-(2+α)})를 달성한다. 또한 L을 온라인으로 학습하는 CGP‑Adaptive, 고차원 문제에 적용 가능한 CGP‑TR, 그리고 지역 평활성을 감지해 GP 정제로 전환하는 CGP‑Hybrid 등 세 가지 확장 버전을 제시하고, 12개 벤치마크(차원 2~100)에서 기존 최강 방법들과 동등하거나 우수한 성능을 보이며, 인증 기반 조기 종료 기준을 제공한다.

상세 분석

CGP는 라플라스 연속성을 이용해 전역적인 상한 Uₜ(x)와 전역적인 하한 ℓₜ를 동시에 구성한다. 구체적으로, 각 샘플 xᵢ에 대해 평균 \hat μᵢ와 서브가우시안 잡음에 기반한 신뢰구간 반경 rᵢ를 계산하고, UCBᵢ(t)=\hat μᵢ+rᵢ, LCBᵢ(t)=\hat μᵢ−rᵢ를 정의한다. 이후 전역 상한 Uₜ(x)=\min_i{UCBᵢ(t)+L·d(x,xᵢ)}를 라플라스 전파 형태로 구하고, ℓₜ= max_i LCBᵢ(t) 로 현재 관측된 최저 하한을 설정한다. 활성 집합 Aₜ={x | Uₜ(x)≥ℓₜ}는 “가능성 있는 최적점”을 의미하며, Aₜ 바깥의 모든 점은 Uₜ(x)<ℓₜ이므로 최적값보다 확실히 낮다. 이 구조는 기존 줌 알고리즘이나 토마스 샘플링이 암묵적으로 수행하던 “가지치기”를 명시적으로 외부에 노출한다는 점에서 혁신적이다.

이론적 분석은 세 단계로 전개된다. 첫째, 좋은 사건 E (모든 샘플 평균이 신뢰구간 안에 존재)에서 Uₜ는 실제 함수 f를 상한한다(Lemma 4.2). 둘째, Uₜ와 ℓₜ 사이의 갭 Δₜ를 정의하고, Aₜ⊆{f≥f*−2Δₜ}임을 보인다(Theorem 4.5). 셋째, 마진 가정(near‑optimality dimension α)을 이용해 Aₜ의 부피 Vol(Aₜ) ≤ C·(2(βₜ+Lηₜ)+γₜ)^{d−α} 로 제한한다(Theorem 4.6). 여기서 βₜ는 활성 점들의 신뢰구간 반경, ηₜ는 현재 샘플이 Aₜ를 얼마나 잘 커버하는지를 나타내는 거리, γₜ는 전역 하한과 최적값 사이의 차이이다. 이 세 양은 알고리즘이 진행될수록 O(1/√t) 속도로 감소하도록 설계돼, 결국 ε‑정밀도에 도달하기 위해 필요한 샘플 수가 \tilde O(ε^{-(2+α)})임을 증명한다(Theorem 4.8). 이는 기존 최악의 \tilde O(ε^{-(2+d)})보다 α<d인 경우 현저히 개선된다.

CGP‑Adaptive는 라플라스 상수 L을 사전 알 필요가 없도록 설계되었다. 두 샘플 간 평균 차이가 현재 추정 \hat L·거리보다 크게 초과하면 L이 과소추정된 것으로 판단하고, \hat L를 두 배로 늘리는 “doubling” 전략을 사용한다. 이 과정은 최대 log₂(L*/\hat L₀)번 발생하며, 최종 \hat L은