전역 최적화 알고리즘의 강한 동질성 P알고리즘과 일단계 베이지안 알고리즘

초록

본 논문은 무한·무한소 연산 체계에서 구현 가능한 전역 최적화 알고리즘의 ‘강한 동질성’ 개념을 정의하고, 통계적 모델(가우시안 프로세스)을 기반으로 하는 P‑알고리즘과 일단계 베이지안 알고리즘이 함수값의 선형 변환(스케일링 및 이동)에도 동일한 탐색 점 시퀀스를 생성함을 증명한다. 또한, DIRECT와 같은 일부 알고리즘은 이 성질을 만족하지 않음을 예시로 제시한다.

상세 분석

논문은 먼저 전역 최적화 문제에서 목표 함수값이 언더플로·오버플로 등 수치적 어려움을 겪을 때, 무한·무한소(arithmetic of infinity) 체계를 이용해 스케일링을 수행할 수 있음을 제시한다. 여기서 ‘강한 동질성(strong homogeneity)’은 두 목표 함수 f(x)와 h(x)=a·f(x)+b (a, b는 유한·무한·무한소 가능) 에 대해 동일한 초기 샘플링 점을 사용했을 때, 알고리즘이 생성하는 다음 탐색 점이 완전히 일치하는 특성을 의미한다.

P‑알고리즘은 가우시안 확률 과정 ξ(x)를 모델로 삼아, 현재까지 관측된 값 y_i와 조건부 평균·분산 m_n(x), s_n(x) 를 이용해 “목표값을 초과할 확률이 최대인 점”을 선택한다. 논문은 μ와 σ²를 각각 표본 평균·분산 혹은 최대우도 추정으로 구했을 때, 스케일링된 데이터에 대해 μ̂′=a·μ̂+b, σ̂′²=a²·σ̂² 가 성립함을 보인다. 이 관계는 조건부 평균·분산 식에 그대로 대입되면 스케일링 전후의 최적화 기준식이 동일해짐을 의미한다. 따라서 x_{n+1}=v_{n+1} 가 성립하고, P‑알고리즘은 강한 동질성을 갖는다.

일단계 베이지안 알고리즘은 기대 개선량 E