최소점 엔트로피 최소화를 위한 능동 베이지안 최적화

초록

본 논문은 목표 함수의 최소점에 대한 불확실성을 직접 최소화하는 새로운 획득 함수를 제안한다. 가우시안 프로세스를 이용해 최소점의 사후 분포 엔트로피를 계산하고, 이를 감소시키는 샘플을 순차적으로 선택함으로써 기존 베이지안 최적화 방법보다 전역 최소점을 더 정확히 찾는다. 다중 최소점 상황도 자연스럽게 처리할 수 있다.

상세 분석

이 연구는 베이지안 최적화의 핵심 목표를 “함수값의 최적화”에서 “최소점 자체에 대한 불확실성 감소”로 전환한다는 점에서 혁신적이다. 기존의 기대 개선(Expected Improvement), 확률적 개선(Probability of Improvement), Upper Confidence Bound 등은 모두 획득 함수가 현재 모델의 평균·분산을 기반으로 새로운 샘플이 목표값을 얼마나 개선할지를 예측한다. 그러나 이러한 기준은 최소점이 어디에 위치하는지에 대한 확률 분포, 즉 최소점 엔트로피를 직접 고려하지 않는다. 저자들은 가우시안 프로세스(GP) 모델을 통해 목표 함수 f(x)에 대한 사후 분포를 얻고, 이 분포로부터 최소점 x의 사후 확률 p(x|D) 를 정의한다. 최소점 엔트로피 H