G셀크 유전 알고리즘과 가우시안 프로세스를 활용한 단계적 레벨 조합 제거 최적화

초록

본 논문은 기존 SELC 알고리즘의 탐색 효율성 한계를 극복하기 위해 가우시안 프로세스(GP) 서러게이트 모델을 도입한 $\mathcal{G}$‑SELC를 제안한다. GP를 이용해 현재까지 관측된 화합물의 반응면을 추정하고, 기대 개선(Expected Improvement) 기준으로 후보 조합을 선택한다. 선택된 후보는 유전 알고리즘(GA)과 결합해 새로운 세대를 생성하고, 성능이 낮은 레벨 조합은 순차적으로 제거한다. 4·5 차원 테스트 함수와 실제 제약 데이터셋을 통해 $\mathcal{G}$‑SELC가 탐색 속도와 최적 해 품질 면에서 기존 SELC와 전통 GA보다 우수함을 입증한다.

상세 분석

본 연구는 약물 설계 단계에서 수천에서 수백만에 달하는 후보 화합물 중 최적의 물성을 가진 물질을 효율적으로 탐색하는 문제에 초점을 맞춘다. 기존에 제안된 SELC(Sequential Elimination of Level Combinations) 알고리즘은 유전 알고리즘(GA) 기반의 탐색 전략에 레벨 조합을 순차적으로 제거하는 규칙을 적용해 탐색 공간을 축소한다는 점에서 혁신적이었다. 그러나 SELC는 탐색 과정에서 얻어진 실험 데이터(즉, 화합물의 실제 물성값)를 통계적 모델에 반영하지 못한다는 근본적인 한계가 있다. 즉, 관측된 데이터가 제공하는 전역적인 함수 형태 정보를 활용하지 못해, 탐색이 무작위성에 크게 의존하고, 특히 고차원·비선형 문제에서 수렴 속도가 느려지는 경향을 보인다.

이를 보완하기 위해 저자들은 가우시안 프로세스(GP) 서러게이트 모델을 도입한다. GP는 관측된 입력‑출력 쌍을 기반으로 입력 공간 전체에 대한 확률적 예측(mean)과 불확실성(variance)을 제공한다. 이러한 불확실성 정보를 활용하면, 아직 탐색되지 않은 영역에 대해 “잠재적 이득”을 정량화할 수 있다. 논문에서는 기대 개선(Expected Improvement, EI) 함수를 획득 함수(acquisition function)로 채택했으며, 이는 현재 최적값보다 더 큰 값을 얻을 기대치를 직접 계산한다. EI는 탐색(exploitation)과 탐사(exploration)를 자연스럽게 균형 맞추어 주어, 고성능 후보를 빠르게 식별하면서도 전역 최적점을 놓치지 않도록 설계되었다.

알고리즘 흐름은 크게 네 단계로 구성된다. 첫째, 초기 설계 포인트(예: 라틴 하이퍼큐브 샘플)를 선택해 실제 실험 혹은 시뮬레이션을 수행하고, 관측값을 수집한다. 둘째, 수집된 데이터를 이용해 GP 모델을 학습하고, EI 기반으로 다음 후보 집합을 선정한다. 셋째, 선정된 후보들을 GA의 초기 개체군으로 사용해 교배·돌연변이 연산을 수행하고, 새로운 세대를 생성한다. 넷째, GA와 EI가 제시한 후보 중 성능이 낮은 레벨 조합을 순차적으로 제거한다(즉, SELC의 “Elimination” 단계). 이 과정을 반복하면서 탐색 공간이 점진적으로 축소되고, GP 모델은 매 반복마다 최신 데이터를 반영해 점점 정교해진다.

실험에서는 4차원 Branin 함수와 5차원 Hartmann 함수 등 표준 테스트 베치를 사용해 알고리즘의 효율성을 검증한다. 결과는 $\mathcal{G}$‑SELC가 동일한 평가 횟수(함수 호출) 내에서 전통 GA보다 평균 30 %~45 % 높은 최적값을 달성했으며, 순수 SELC 대비서는 20 % 이상 개선된 것으로 나타났다. 특히, 고차원·다중 피크 구조를 가진 함수에서 GP 기반 EI가 탐색 초기에 유망한 영역을 빠르게 포착하고, 이후 SELC 단계가 불필요한 레벨을 효과적으로 제거함으로써 전체 수렴 속도를 크게 가속화한다는 점이 강조된다.

실제 제약 데이터셋(수천 개의 화합물, 다중 물성 목표) 적용 결과도 흥미롭다. $\mathcal{G}$‑SELC는 제한된 실험 비용(예: 200 회) 내에 기존 방법이 도달하지 못한 최적 조합을 찾아냈으며, 화합물의 합성·시험 비용을 실질적으로 15 %~25 % 절감할 수 있음을 시뮬레이션을 통해 입증한다.

한편, 논문은 몇 가지 한계점도 언급한다. GP 모델은 고차원(>10차원)에서는 커널 파라미터 추정이 어려워 과적합 위험이 존재한다. 또한, EI 계산은 매 반복마다 전체 후보 집합에 대해 수행되므로 후보 수가 매우 클 경우 계산 비용이 급증한다. 이를 해결하기 위해 저자들은 차원 축소 기법(예: 주성분 분석)이나 스파스 GP, 배치 EI 등과의 결합 가능성을 제시한다. 전반적으로 $\mathcal{G}$‑SELC는 통계적 서러게이트와 진화적 탐색을 유기적으로 결합한 하이브리드 프레임워크로, 약물 설계와 같은 고비용·고차원 최적화 문제에 실용적인 대안을 제공한다.