제약이 있는 혼합 변수 블랙박스 최적화를 위한 서베이 기반 범주 이웃 구조

본 논문은 시뮬레이션 기반 엔지니어링 설계에서 흔히 마주치는 복잡한 블랙박스 모델을 대상으로, 연속, 정수, 범주형 변수가 혼합된 제약 최적화 문제를 다룬다. 범주형 변수는 순서가 없고 구조가 정의되지 않아 기존 미분 기반 혹은 연속 변수 전용 최적화 기법으로는 효과적으로 다루기 어렵다. 특히 제약 함수가 범주형 변수에 민감하게 반응하는 경우, 목표 함수만을 기반으로 한 이웃 생성은 비실현 후보를 많이 생성해 효율을 저하한다. 이를 해결하기 위해 저자들은 두 단계의 서베이 모델을 구축한다. 첫 번째 단계에서는 목표 함수 f에 대해 가우시안 프로세스(GP)를 학습한다. GP는 각 범주 조합에 대한 예측 평균 μ_f와 불확실성 σ_f를 제공한다. 두 번째 단계에서는 제약 함수 g_j 각각에 대해 별도의 GP를 학습하여 범주별 제약 위반 정도를 예측한다. 이렇게 얻은 예측값을 바탕으로 두 종류의 거리 함수를 정의한다. - 목표 기반 거리 d_f(i,j) = |μ_f(i) – μ_f(j)| 혹은 정규화된 차이 - 제약 기반 거리 d_g(i,j) = max_j |μ_gj(i) – μ_gj(j)| 다음으로, 다목적 최적화에서 사용되는 파레토 지배 개념을 차용해 두 거리의 균형을 맞춘 복합 거리 D(i,j)를 만든다. 구체적으로, i가 j를 지배하지 않을 경우 D(i,j)=max{d_f(i,j), d_g(i,j)} 로 정의하고, 지배 관계가 존재하면 큰 페널티를 부여한다. 이 복합 거리 기반으로 현재 해 x^(k)의 범주형 변수에 대해 가장 작은 D 값을 갖는 후보 범주 집합을 이웃으로 선정한다. 이러한 서베이 기반 이웃은 매 반복마다 새로운 평가점이 추가될 때마다 GP를 재학습하고 거리 행렬을 갱신함으로써 동적으로 변화한다. 따라서 이웃은 문제의 실제 지형, 즉 목표와 제약이 어떻게 상호 작용하는지를 반영한다. 제안된 이웃 구조는 기존 CatMADS 알고리즘에 손쉽게 통합된다. CatMADS는 메쉬 적응 직접 탐색(MADS) 프레임워크를 범주형 변수에 확장한 것으로, 연속·정수 변수에 대한 메쉬 탐색은 그대로 유지하면서 범주형 변수에 대한 후보 생성 단계에 서베이 기반 이웃을 삽입한다. 이를 CatMADS‑GP라 명명하고, 60개의 혼합 변수 벤치마크(Cat‑Suite)에서 실험을 수행했다. 실험 결과는 다음과 같다. 무제약 문제에서는 기존 CatMADS와 비슷한 수준이지만, 제약이 있는 문제에서는 CatMADS‑GP가 평균적으로 15~20% 더 적은 평가 횟수로 목표값에 도달했으며, 성공률도 10% 이상 향상되었다. 특히 제약이 범주형 변수와 강하게 연관된 경우(예: 재료 선택에 따른 구조적 제한)에는 기존 목표 기반 이웃이 비실현 후보를 많이 생성해 탐색이 정체되는 반면, 제약 기반 거리를 포함한 복합 이웃은 이러한 후보를 사전에 배제해 효율적인 탐색을 가능하게 했다. 논문의 주요 기여는 세 가지로 요약된다. 첫째, 목표와 제약을 동시에 고려한 서베이 기반 범주 거리 정의. 둘째, 파레토 지배를 이용해 두 거리의 균형을 맞춘 복합 거리 설계. 셋째, 이러한 이웃을 기존 메쉬 적응 탐색 프레임워크에 무리 없이 통합한 구현. 또한, 제약이 완화 가능한(relaxable) 상황에서도 제약 위반 예측을 통해 이웃을 필터링함으로써 불필요한 비실현 후보를 사전에 차단한다는 실용적 장점이 있다. 향후 연구 방향으로는 (1) 고차원 범주형 변수와 다중 목표 상황에 대한 확장, (2) 딥 커널을 활용한 비선형 상관관계 모델링, (3) 서베이 모델의 불확실성 활용을 통한 탐색‑활용 균형 조정 등이 제시된다. 이러한 발전은 복잡한 엔지니어링 설계와 하이퍼파라미터 튜닝 등 다양한 분야에서 범주형 변수와 제약이 공존하는 블랙박스 최적화 문제 해결에 큰 기여를 할 것으로 기대된다.