자율 시스템 설계 튜닝 제어를 위한 퍼널형 베이지안 최적화

본 논문은 베이지안 최적화(Bayesian Optimization, BO)의 핵심 가정인 **정체성(Stationarity) 가정**이 실제 로봇·제어·설계 문제에서 제한적임을 지적하고, 이를 보완하기 위한 새로운 커널 설계와 하이퍼파라미터 추정 방법을 제시한다. **1. 연구 배경 및 문제 정의** - BO는 샘플 효율성이 중요한 블랙박스 최적화에 널리 사용되며, 가우시안 프로세스(GP)를 대리모델로 채택한다. - 대부분의 BO 구현은 정체성 커널(RBF, Matern 등)을 사용해 전체 입력 공간에 동일한 길이 스케일과 변동성을 가정한다. - 실제 자율 시스템 분야에서는 목표 함수가 **비정상적(non‑stationary)** 특성을 보인다. 예를 들어, 강화학습 보상 함수는 성공 정책 근처에서 급격히 변하고, 그 외 영역은 평탄하거나 잡음이 크다. 설계 최적화에서도 최적점 주변은 급격히 변하고, 다른 영역은 완만하다. **2. 비정상성에 대한 기존 접근** - 비정상성을 다루기 위해 전역적인 비정상 커널, 입력 공간 분할(트리 기반 GP), 입력 워핑(warping) 등이 제안되었지만, 이들은 **전체 공간**에 비정상성을 적용하려 하여 BO의 샘플 효율성을 저해한다. - BO는 기본적으로 **전역 탐색과 지역 활용**을 동시에 수행해야 하는데, 전역적인 비정상 모델은 불필요한 복잡성을 초래한다. **3. 제안 방법: Spartan Bayesian Optimization (SBO)** - **핵심 아이디어**: 현재까지 관측된 최적점 후보 주변에만 비정상성을 집중시켜, 지역적인 고해상도 모델링을 수행한다. - **커널 구조**: 두 개의 서브커널을 결합한다. - *전역 서브커널*: 기존 정체성 커널(예: RBF)로 전체 공간에 대한 기본적인 불확실성 제공. - *지역 서브커널*: 가우시안 형태의 가중치 함수를 통해 현재 최적점 추정치(예: 현재 최고 관측값 혹은 GP 평균 최소점)를 중심으로 길이 스케일을 작게 설정, 즉 지역적으로 더 세밀한 모델링을 수행한다. - **가중치 함수**는 동적으로 업데이트되며, 최적점이 이동함에 따라 지역 서브커널의 중심도 이동한다. 이를 “퍼널형(Funneled)”이라고 부른다. **4. 하이퍼파라미터 추정** - 기존 BO는 마진 가능도 최대화(MLE) 혹은 MAP를 통해 커널 파라미터를 고정한다. 이는 파라미터 불확실성을 무시한다. - SBO는 **완전 베이지안** 접근을 채택한다. MCMC(슬라이스 샘플링)를 이용해 파라미터 사후분포를 샘플링하고, 각 샘플에 대해 GP 예측과 획득함수(EI)를 계산한다. 최종 획득함수는 샘플들의 평균으로 근사한다. - 이 방법은 파라미터 불확실성을 직접 반영해, 특히 비정상성 영역에서 과적합을 방지한다. **5. 알고리즘 흐름** 1) 라틴 하이퍼큐브(LHS)로 초기 설계(p점) 수행. 2) 매 반복마다 MCMC로 커널 파라미터 샘플링. 3) 샘플별 GP 예측을 이용해 EI를 계산하고, 평균 EI를 최대화하는 점을 선택. 4) 선택된 점을 실제 함수에 평가하고 데이터베이스에 추가. 5) 지역 서브커널의 중심을 최신 최적점 후보로 업데이트하고, 반복. **6. 실험 및 결과** - **합성 함수**: Branin, Hartmann 등에서 SBO는 동일 평가 예산 내에 더 낮은 최적값을 달성, 특히 함수가 비정상적(다중 스케일)인 경우 큰 차이를 보였다. - **머신러닝 하이퍼파라미터 튜닝**: SVM, 신경망 등에서 SBO는 기존 RBF‑EI 대비 10~20% 빠른 수렴을 기록. - **강화학습 정책 탐색**: 이산/연속 정책 공간에서 보상 함수가 거의 평탄하지만 성공 정책 근처에서 급격히 상승하는 비정상성을 보였으며, SBO는 빠르게 성공 정책을 찾아내고 평균 보상이 크게 향상되었다. - **CFD 기반 날개 설계**: 고비용 시뮬레이션(수천 달러)에서 30회의 평가만으로 기존 방법보다 5% 이상 높은 양력을 얻는 설계안을 도출. **7. 논의** - SBO는 **전역 탐색을 손상시키지 않으면서 지역 활용을 강화**한다. 이는 커널 가중치가 동적으로 조정되기 때문에, 초기에는 전역 서브커널이 주도하고, 최적점이 수렴함에 따라 지역 서브커널이 점차 지배한다. - 완전 베이지안 하이퍼파라미터 추정은 계산 비용이 증가하지만, 현대 멀티코어·GPU 환경에서 충분히 실용적이며, 샘플 효율성 향상으로 전체 비용을 절감한다. - 제한점으로는 지역 서브커널 중심을 정의하는 기준(현재 최적점 후보) 선택에 따라 성능 변동이 있을 수 있다. 또한 고차원(>20) 문제에서는 커널 매개변수 샘플링 비용이 급증한다. **8. 결론** 본 논문은 베이지안 최적화에서 비정상성을 **지역적으로** 모델링하는 새로운 커널 설계와 완전 베이지안 하이퍼파라미터 추정 방식을 제안한다. 실험을 통해 다양한 로봇·제어·설계 문제에서 기존 정체성 커널 기반 BO보다 일관된 성능 향상을 입증하였다. 이러한 접근은 샘플 효율성이 핵심인 자율 시스템 설계·튜닝·제어 분야에 실질적인 가치를 제공한다.