가우시안 프로세스 밴딧 기반 벡터 최적화

초록

본 논문은 다목적 블랙박스 함수의 벡터 최적화를 위해, 다면체 순서 원뿔을 이용한 선호 구조를 도입하고, 가우시안 프로세스(GP) 밴딧을 활용한 적응형 제거 알고리즘 VOGP를 제안한다. (ε,δ)-PAC 보장을 갖는 샘플 복잡도 상한을 정보 이득과 커널별 형태로 이론적으로 도출했으며, 실험을 통해 기존 방법 대비 평균 18배 적은 샘플로 파레토 최적 해를 정확히 식별함을 확인하였다. 연속 설계 공간과 커널 하이퍼파라미터 미지 상황에 대한 휴리스틱 확장도 제시한다.

상세 분석

본 연구는 기존 다목적 최적화가 주로 전체 차원에서의 파레토 우위만을 고려하는 한계를 지적하고, 사용자의 선호를 다면체 순서 원뿔(C)으로 형식화한다는 점에서 혁신적이다. 원뿔 C는 W·x≥0 형태의 선형 부등식 집합으로 정의되며, 두 설계 x₁, x₂ 사이의 우위 관계는 f(x₁)−f(x₂)∈C 여부로 판단한다. 이러한 부분 순서를 적용하면, 전통적인 파레토 전선보다 더 실용적인 해 집합을 얻을 수 있다.

알고리즘 VOGP는 가우시안 프로세스로 각 목표 함수를 사후 분포 추정하고, 신뢰 구간을 이용해 설계 후보들을 ‘우수’, ‘열등’, ‘불확실’ 세 그룹으로 분류한다. 매 라운드에서는 불확실 영역이 가장 큰 설계(즉, 불확실성이 최대인 점)를 선택해 관측을 수행함으로써, 정보 이득을 최대로 끌어올린다. 이 과정은 기존의 파레토 활성 학습(PAL) 및 ε‑PAL과 유사하지만, 목표 간 상관성을 모델링할 수 있는 다변량 GP를 사용한다는 점에서 차별화된다.

이론적 분석에서는 (ε,δ)-PAC 프레임워크 하에 VOGP가 최적 파레토 집합을 ε-근사, δ-신뢰도로 식별하기 위해 필요한 샘플 수를, 최대 정보 이득 γ_T와 커널에 의존하는 형태로 상한을 제시한다. 특히, RBF, 마테른, 선형 커널에 대해 구체적인 Õ(γ_T·log(1/δ)/ε²) 형태의 복잡도 식을 도출하였다. 이는 기존의 Naïve Elimination(NE)이나 PaVeBa와 비교해 적응형 제거 전략 덕분에 최악의 경우에도 동일 차수이면서 상수 항이 크게 감소함을 의미한다.

실험에서는 합성 데이터와 실제 화학·공학 문제(예: SnAr 반응 파라미터 최적화)를 사용해 VOGP와 최신 다목적 베이지안 최적화(PESMO, MESMO, JES) 및 진화 기반 방법을 비교하였다. 평균적으로 VOGP는 동일 정확도에서 약 18배 적은 샘플을 사용했으며, 특히 원뿔 기반 파레토 집합을 정확히 복원하는 데 강점을 보였다. 연속 설계 공간에서는 트리 기반 적응형 이산화(adaptive discretization)를 적용해 탐색 효율을 유지했으며, 커널 하이퍼파라미터를 사전 학습하지 못하는 경우에는 최대 가능도 추정과 사후 샘플링을 결합한 휴리스틱 변형이 실용적인 성능을 나타냈다.

전체적으로 본 논문은 (1) 순서 원뿔을 통한 선호 표현, (2) GP 기반 적응형 제거 알고리즘, (3) 정보 이득 기반 샘플 복잡도 이론, (4) 실험적 검증이라는 네 축을 통해 벡터 최적화 분야에 새로운 패러다임을 제시한다는 점에서 의의가 크다.