코브라 플러스플러스

초록

본 논문은 비용이 많이 드는 제약 최적화 문제를 해결하기 위해 기존 COBRA 프레임워크에 두 가지 혁신을 추가한다. 첫째, 다양한 RBF 커널과 폭을 갖는 11개의 서러게이트 모델 풀을 구축해 모델 다양성을 높이고 근사 정확도를 강화한다. 둘째, 강화학습 기반 Deep Q‑Network 에이전트를 도입해 매 단계마다 최적의 서러게이트를 자동 선택하도록 학습시킨다. 실험 결과, 제안된 COBRA++가 원본 COBRA와 기존 적응형 변형보다 수렴 속도와 최종 해의 품질 모두에서 현저히 우수함을 입증한다.

상세 분석

COBRA++는 기존 COBRA가 RBF 하나에 의존하는 한계를 극복하기 위해 서러게이트 모델 풀을 크게 확장한다. 구체적으로, 1개의 cubic RBF, 5개의 multiquadric RBF(폭 w = 0.01, 0.2, 0.5, 1, 5) 및 5개의 Gaussian RBF(동일 폭)로 구성된 총 11개의 모델을 동시에 유지한다. 이러한 다중 커널 구성은 비선형성, 급격한 변화, 평탄한 구간 등 다양한 함수 형태에 대해 각각 강점을 발휘하도록 설계되었으며, 매 반복마다 전체 모델을 재학습함으로써 최신 데이터에 대한 적응성을 확보한다.

서러게이트 선택 메커니즘은 MDP로 정형화된다. 상태 sₜ는 각 서러게이트별 8차원 특성(예: 평균 예측 오차, 최근 5단계 선택 이력, 성공 횟수, 목표 기여도)과 전역 최적화 특성 2개(목표값 표준편차, 남은 평가 비율)로 구성된다. 행동 aₜ는 11개의 서러게이트 중 하나를 선택하는 것이며, 보상 rₜ는 새로운 해가 이전 해보다 목표값이 낮고 모든 제약을 만족하면 1, 그렇지 않으면 0으로 정의한다. 이진 보상은 정책이 실제 최적화 성과와 직접 연결되도록 하여 학습 효율을 높인다.

네트워크 구조는 두 개의 MLP가 각각 서러게이트 특성과 전역 특성을 처리한 뒤, concat된 벡터를 Q‑value 레이어에 전달하는 Deep Q‑Network이다. ε‑greedy 탐색을 통해 초기 탐색을 보장하고, 경험 재플레이와 타깃 네트워크 업데이트를 적용해 학습 안정성을 확보한다.

학습은 다양한 제약 최적화 문제(다양한 차원, 제약 수, 비선형성)를 포함하는 분포에서 수행되며, 목표는 누적 보상을 최대화하는 정책을 찾는 것이다. 이렇게 학습된 정책은 새로운 문제에 적용될 때도 서러게이트 선택을 자동화하여 인간 전문가의 수작업 튜닝을 크게 감소시킨다.

실험에서는 30·50·100 차원의 합성 벤치마크와 실제 공학 설계 문제를 대상으로, 평가 예산을 200500 회로 제한하였다. 성능 지표는 최종 목표값, 성공률(제약 만족 비율), 그리고 수렴 속도이다. COBRA++는 평균 목표값 감소율이 기존 COBRA 대비 1530% 향상되었으며, 특히 복잡한 비선형 제약이 많은 경우 성공률이 20% 이상 상승했다. Ablation study에서는 (1) 서러게이트 풀만 확대한 경우와 (2) RL 선택만 적용한 경우를 각각 비교했을 때, 두 요소를 동시에 적용한 COBRA++가 가장 큰 시너지 효과를 보였다.

이러한 결과는 서러게이트 다양성 확보와 데이터‑드리븐 모델 선택이 비용 제한이 심한 제약 최적화에서 핵심적인 역할을 함을 시사한다. 또한, 강화학습을 통한 자동 정책 학습이 기존 휴리스틱 기반 선택보다 일반화 능력이 뛰어나며, 다양한 문제 유형에 대한 적응성을 제공한다는 점에서 향후 메타‑최적화 및 다중 작업 최적화 분야에 적용 가능성이 크다.