고차원 연속 최적화를 위한 모델 복잡도 제어 기반 EDA 확장

초록

본 논문은 연속형 추정분포알고리즘(EDA)의 고차원 적용 한계를 극복하기 위해 모델 복잡도 제어(MCC) 기법을 도입한 EDA-MCC 프레임워크를 제안한다. 약한 의존 변수 식별(WI)과 서브스페이스 모델링(SM)을 통해 변수 간 상관성을 효율적으로 관리하고, 인구 규모와 연산 비용을 크게 낮추면서 500차원까지의 문제에서 기존 다변량 EDA보다 우수한 성능을 보인다. 또한 학습된 확률 모델을 통해 문제 구조를 해석할 수 있다.

상세 분석

EDA-MCC는 고차원 연속 최적화에서 전통적인 다변량 가우시안 EDA가 직면하는 두 가지 핵심 장애, 즉 차원 저주와 급증하는 계산 비용을 동시에 완화한다. 차원 저주를 완화하기 위해 저희는 약한 의존 변수 식별(WI) 단계에서 변수 간 상관관계를 정량화하고, 상관도가 낮은 변수들을 ‘약하게 의존’된 집합으로 분리한다. 이렇게 식별된 변수들은 서로 독립적인 단일변량 모델로 처리되어 학습에 필요한 표본 수를 크게 감소시킨다. 반면, 강하게 의존하는 변수들은 서브스페이스 모델링(SM) 단계에서 제한된 차원의 서브스페이스로 군집화한다. 각 서브스페이스는 별도의 다변량 가우시안 모델을 학습하므로 전체 공분산 행렬의 차원 수가 O(k·d²)에서 O(s·d)로 감소한다(여기서 k는 서브스페이스 수, s는 서브스페이스 차원). 이로써 최대우도 추정에 필요한 표본 복잡도가 크게 낮아지고, 인구 규모 M을 기존 EDA 대비 1/3~1/5 수준으로 줄일 수 있다.

계산 복잡도 측면에서는 모델 구축 단계가 O(M·d²)에서 O(M·s·d)로, 샘플링 단계는 공분산 행렬 분해 비용이 O(s·d²)에서 O(s·d)로 감소한다. 실험 결과는 50D~500D 벤치마크 함수에서 EDA-MCC가 평균 최적값 오차와 실행 시간 모두 기존 EMNA‑global, Normal‑IDEA, EGNA 등과 비교해 30%~70% 향상을 보였음을 확인한다. 특히 비분리형 함수와 다중 최적점이 적은 함수에서 강한 우위를 나타냈으며, 고차원에서 모델 복잡도 패널티를 적용한 기존 방법들과는 차별화된 성능을 보여준다.

또한, EDA-MCC가 학습한 공분산 구조를 시각화하거나 변수 의존 그래프를 추출함으로써 문제의 구조적 특성을 정량적으로 파악할 수 있다. 이는 블랙박스 최적화 상황에서 해석 가능성을 제공한다는 점에서 기존 EA와 차별화되는 중요한 부가 가치이다. 파라미터 민감도 분석에서는 WI의 상관 임계값 θ와 SM의 서브스페이스 차원 r이 성능에 미치는 영향을 체계적으로 조사했으며, 무작위 파티셔닝이 클러스터링 기반 파티셔닝보다 고차원에서 더 안정적인 결과를 제공한다는 실용적 지침을 제시한다.

결론적으로, EDA-MCC는 모델 복잡도를 제어함으로써 고차원 연속 최적화에 필요한 표본 효율성을 확보하고, 계산 비용을 크게 절감하면서도 다변량 의존성을 충분히 포착한다. 이는 “모델을 명시적으로 학습한다”는 EDA의 고유 장점을 유지하면서도 대규모 문제에 적용 가능한 실용적인 프레임워크를 제공한다.