노이즈 함수 최대점 직접 추정 위한 비모수 공액 사전분포

초록

본 논문은 잡음이 섞인 비선형 함수의 최댓값 위치(극대점)를 직접 모델링하는 베이지안 프레임워크를 제안한다. 함수 자체를 추정하는 기존 2단계 방식과 달리, 커널 회귀 기반의 비모수 공액 사전분포를 정의해 관측 데이터만으로 극대점에 대한 사후 분포를 바로 얻는다. 고차원·비볼록 목표 함수에 대한 실험을 통해 제안 방법의 효율성과 정확성을 입증한다.

상세 분석

이 연구는 확률적 최적화 문제, 특히 잡음이 포함된 비선형 함수의 극대점(또는 극소점)을 찾는 상황에서 기존 접근법이 갖는 근본적인 비효율성을 지적한다. 전통적인 베이지안 최적화는 가우시안 프로세스(GP)와 같은 함수 사전분포를 설정하고, 관측된 입력‑출력 쌍을 통해 사후 함수분포를 갱신한 뒤, 획득함수(acquisition function)를 최적화해 다음 샘플링 지점을 선택한다. 이 과정은 “함수 → 사후 → 극값”이라는 두 단계로 구성돼, 함수 자체를 고해상도로 추정해야만 극값을 정확히 파악할 수 있다는 비용이 발생한다. 특히 고차원·비볼록 함수에서는 GP의 커널 선택·하이퍼파라미터 튜닝이 어려워지고, 샘플링 비용이 급증한다.

논문은 이러한 한계를 극복하기 위해 “극대점 자체에 대한 사전분포”를 직접 정의한다는 전혀 새로운 관점을 제시한다. 핵심 아이디어는 커널 회귀(k‑nearest neighbor 혹은 Nadaraya–Watson 형태)의 가중치를 확률적 변수로 두고, 이 가중치에 대해 비모수적인 디리클레·프로세스(DP) 혹은 파이베르트 과정(Pólya‑tree)과 유사한 구조의 공액 사전분포를 설계한다는 것이다. 구체적으로, 입력 공간 (\mathcal{X})에 대한 무한히 많은 후보점 ({x_i})를 가정하고, 각 후보점이 최댓값을 차지할 확률 (\pi_i)를 베타·디리클레 형태의 사전으로 설정한다. 관측 데이터 ({(x^{(t)}, y^{(t)})})가 들어올 때마다, 커널 함수를 통해 각 후보점에 대한 예측값과 그 불확실성을 계산하고, 베이즈 정리를 이용해 (\pi_i)를 업데이트한다. 이때 사전과 사후가 동일한 형태를 유지하므로 “공액”이라는 용어가 성립한다.

비모수적이라는 특성은 사전이 고정된 파라미터 수를 갖지 않으며, 데이터가 늘어날수록 후보점 집합이 자동으로 확장된다는 점에서 기존의 가우시안 프로세스와 차별화된다. 또한, 사후 분포 ({ \pi_i }) 자체가 바로 최댓값 위치에 대한 확률적 추정치를 제공한다. 따라서 추가적인 최적화 단계 없이도 “가장 높은 (\pi_i)”를 선택하거나, 샘플링 전략으로 (\pi_i)에 비례해 탐색·활용을 균형 있게 수행할 수 있다.

이론적 측면에서 논문은 사전이 실제 함수의 극대점 분포를 충분히 포괄하도록 설계될 경우, 무한 샘플 한계에서 사후가 진정한 극대점에 수렴한다는 수렴성 정리를 증명한다. 또한, 커널 선택이 사후의 편향에 미치는 영향을 분석하고, 적응형 밴드위스드(k‑nearest neighbor)와 같은 로컬 커널이 고차원에서의 차원의 저주를 완화한다는 실험적 근거를 제시한다.

실험에서는 20차원 이상의 비볼록 함수와, 잡음 수준이 높은 시뮬레이션 환경을 설정했다. 비교 대상은 전통적인 GP‑EI(Expected Improvement)와 베이지안 최적화 변형, 그리고 무작위 탐색이다. 결과는 제안 방법이 동일한 평가 횟수에서 목표값에 더 빨리 수렴하고, 최종 최적값의 평균 오차가 기존 방법보다 30~50% 낮음을 보여준다. 특히, 샘플링 비용이 제한된 상황에서 “극대점 직접 모델링”이 탐색 효율을 크게 향상시킨다.

요약하면, 이 논문은 함수 자체를 추정하는 복잡한 과정을 생략하고, 극대점에 대한 비모수적 공액 사전분포를 도입함으로써 베이지안 최적화의 계산·통계적 효율성을 동시에 개선한다는 점에서 학술적·실용적 의의가 크다.