워스테인 거리 기반 베이지안 최적화 설계 평가와 탐욕적 의사결정

초록

본 논문은 베이지안 최적화(BO)에서 초기 설계(디자인)의 품질을 워스테인 거리로 정량화하는 두 가지 지표 S₁(공간 커버리지)와 S₂(목표값 집중도)를 제안한다. 이 지표들을 이용해 설계의 정보 가치를 모델‑프리하게 평가하고, 탐욕적(마이옵틱) 획득 함수가 선택한 다음 샘플 x′ 의 품질과의 관계를 실험적으로 분석한다. 실험 결과는 LHS 기반 설계가 S₁을 낮게 유지하지만 S₂와는 무관하며, S₁·S₂ 조합이 다음 샘플의 개선 가능성을 예측하는 데 유용함을 보여준다.

상세 분석

논문은 베이지안 최적화가 이론적 수렴 증명에 의존하지만 실제 적용에서는 모델 오차, 하이퍼파라미터 추정, 초기 설계의 불안정성 등으로 인해 수렴이 보장되지 않는다는 문제점을 강조한다. 이를 해결하기 위해 저자들은 설계 D = (X, Y) 의 두 가지 분포적 특성을 워스테인 거리(W₂)를 이용해 정량화한다. 첫 번째 지표 S₁(D)=W₂²(X, G_X) 는 실제 샘플 위치 X 와 검색 공간 전체를 균일하게 샘플링한 격자 G_X 간의 거리로, 설계가 검색 공간을 얼마나 고르게 커버했는지를 나타낸다. 값이 작을수록 균일한 커버리지를 의미한다. 두 번째 지표 S₂(D)=W₂²(Y, δ_{y⁺}) 는 관측값 Y 와 현재 최적값 y⁺ 에 대한 디랙 델타 분포 간의 거리로, 관측값이 최적값 주변에 얼마나 집중되어 있는지를 측정한다. S₂는 Y 의 분산뿐 아니라 최적값과의 거리까지 반영하므로, 단순 표준편차보다 목표값 집중도를 더 정확히 포착한다.

실험에서는 1차원·2차원 테스트 함수 14개에 대해 세 종류의 설계(순수 LHS, LHS+최적점 근처, LHS+잘못된 점 근처)와 다양한 샘플 수 n 을 사용했다. 결과는 S₁이 샘플 수 n 에 강하게 의존해 n 이 클수록 감소하고, LHS 설계가 가장 낮은 S₁ 값을 보이며, 반면 S₂는 f(x) 의 형태에 따라 크게 변동하고 설계 종류와는 무관함을 확인했다. 특히, 다중 국소 최적점을 가진 ‘진동형’ 함수에서는 S₂가 크게 나타났다.

다음 샘플 x′ 의 품질은 Δy = y⁺ − y′ 로 정의했으며, 이는 실제 BO 과정에서 측정 가능한 지표이다. 저자들은 S₁·S₂가 낮은 영역(즉, 고른 커버리지와 높은 목표값 집중도)에서 Δy가 양(개선)인 경우가 많음을 실험적으로 보여준다. 이는 설계가 충분히 탐색하면서도 현재 최적값 주변에 정보를 축적했을 때, 탐욕적 획득 함수(EI, LCB, SR, SD)라도 좋은 다음 샘플을 선택할 가능성이 높다는 의미다. 또한, 모델 오차(RMSE)와 Δy 사이의 상관관계를 분석해, 높은 RMSE(모델 오차)가 큰 Δy(개선)와 반드시 연결되지 않으며, 설계 자체의 분포적 특성이 더 결정적인 역할을 함을 강조한다.

이러한 분석은 기존 BO 연구에서 설계 선택을 무작위에 맡기거나 단순히 샘플 수에 의존하던 관행을 비판하고, 설계의 워스테인 거리 기반 정량화를 통해 사전 정보 가치를 평가함으로써, 새로운 획득 함수 설계나 설계‑획득 연계 전략을 개발할 수 있는 기반을 제공한다.