딥 가우시안 프로세스를 활용한 비정상성 함수 최적화

본 논문은 고비용 블랙박스 함수를 최적화하는 베이지안 최적화(Bayesian Optimization, BO)의 핵심 한계인 대리 모델의 정적(stationary) 가정 문제를 해결하고자 한다. 전통적인 Gaussian Process(GP)는 커버리언스 함수가 입력 차이만을 의존하도록 설계되어, 전체 설계 공간에 걸쳐 동일한 매끄러움과 변동성을 가정한다. 그러나 실제 공학 설계, 특히 항공우주 분야에서는 유동 전이, 연소 급변, 구조물의 탄성‑경화‑목킹 구간 등 지역마다 물리적 특성이 급격히 달라지는 비정상성(non‑stationary) 현상이 빈번히 발생한다. 이러한 비정상성을 무시하면 GP가 과소적합하거나 과도한 탐색을 야기하여 최적화 효율이 크게 저하된다. 문헌 조사에서는 비정상성을 다루기 위해 (1) 비정상성 커버리언스 함수 직접 설계, (2) 지역별 정적 GP를 혼합, (3) 입력 공간 워핑(warping) 기법 등을 제안했지만, 데이터가 희소하고 차원이 높아질수록 학습 안정성 및 계산 비용이 크게 증가한다는 공통된 한계가 있다. 이에 저자들은 Deep Gaussian Process(DGP)를 새로운 대리 모델로 제안한다. DGP는 여러 층의 GP를 순차적으로 연결한 함수 합성 구조로, 각 층은 자체적인 정적 커버리언스를 유지하면서도 전체적으로는 비선형 변환을 통해 입력 공간을 복합적으로 변형한다. 이러한 다층 구조는 급격한 변동을 보이는 지역과 완만한 지역을 동시에 모델링할 수 있는 높은 표현력을 제공한다. 논문에서는 변분 추론(variational inference) 기반의 확률적 학습 방법을 채택하여 DGP의 하이퍼파라미터와 변분 파라미터를 효율적으로 최적화한다. 또한, 층 수와 각 층의 유닛 수를 문제 규모에 맞게 자동 조정하는 전략을 제시한다. 제안된 알고리즘은 DEGO(Deep Efficient Global Optimization)라 명명되며, 핵심 흐름은 다음과 같다. 1) 초기 설계점 집합(DoE)을 통해 목표 함수와 제약 함수를 평가한다. 2) 평가된 데이터를 이용해 DGP를 학습한다. 3) 학습된 DGP가 제공하는 예측 평균과 분산을 기반으로 기존 EI(Expected Improvement) 획득 함수를 계산한다. 4) EI를 최대화하는 후보점을 선택해 실제 함수를 평가하고, 데이터셋을 갱신한다. 이 과정을 수렴 기준이 충족될 때까지 반복한다. DGP가 제공하는 예측 분포는 변분 근사에 의해 가우시안 형태로 정규화되므로, EI 계산에 별도의 변형이 필요하지 않다. 실험은 두 종류로 구성된다. 첫 번째는 2‑D Branin, 6‑D Hartmann 등 표준 베이지안 최적화 테스트 함수이며, 두 번째는 항공우주 엔진 설계 문제(예: 압축기 압력비와 연소실 온도 최적화)이다. 각 실험에서 DEGO는 (i) 정적 GP 기반 EGO, (ii) 비정상성 커버리언스를 도입한 변형 GP, (iii) 랜덤 포레스트 및 신경망 기반 BO와 비교되었다. 결과는 다음과 같다. • 반복 횟수 기준: DEGO는 평균 30 %~45 % 적은 반복으로 목표값에 도달하였다. • 최종 최적값: 정적 GP 대비 5 %~12 % 향상, 비정상성 GP 대비 3 %~8 % 향상. • 고차원 비정상성 문제에서 DGP의 비선형 변환이 탐색 효율을 크게 증대시켰으며, 특히 탐색 초기에 전역적인 탐색을 유지하면서도 후반부에 지역 최적화로 전환하는 특성이 두드러졌다. 논문의 주요 기여는 다음과 같다. 1) DGP를 BO 대리 모델로 활용하는 체계적인 프레임워크(DEGO) 제시. 2) DGP 학습을 BO 루프에 적합하도록 변분 추론과 하이퍼파라미터 자동 조정 기법을 통합. 3) 다양한 실험을 통해 비정상성 함수에 대한 기존 방법 대비 우수한 수렴 속도와 해의 품질을 실증. 4) 고차원·희소 데이터 상황에서도 계산 비용을 합리적인 수준으로 유지할 수 있음을 보임. 마지막으로 저자는 향후 연구 방향으로 (a) 더 깊은 DGP 구조와 스케일러블 변분 추론 기법, (b) 다목적(다중 목표) 최적화와 제약 처리에 대한 확장, (c) 실시간/온라인 BO 환경에서의 DGP 업데이트 효율성 개선 등을 제시한다. 이러한 연구는 복잡한 공학 설계 문제에서 비정상성을 자연스럽게 포착하면서도 효율적인 최적화를 가능하게 하는 새로운 패러다임을 제공한다.