효율적인 자연 진화 전략

초록

eNES는 변이 분포의 파라미터를 자연 기울기를 이용해 직접 최적화한다. 정확한 피셔 정보 행렬을 빠르게 역산하는 알고리즘을 도입해 고차원에서도 안정적인 추정이 가능하며, 최적의 피트니스 베이스라인과 중요도 혼합 기법을 통해 평가 비용을 크게 절감한다. 실험 결과, 단일 및 다중 피크 문제 모두에서 기존 진화 전략보다 경쟁력 있는 성능을 보인다.

상세 분석

eNES는 전통적인 진화 전략이 사용하는 고정된 변이 분포 대신, 다변량 정규분포 μ, Σ를 파라미터화하고 이 파라미터를 자연 기울기(Natural Gradient)로 업데이트한다는 근본적인 아이디어를 갖는다. 자연 기울기는 파라미터 공간에 정의된 리만 계량(metric)인 피셔 정보 행렬(F) ⁻¹와 일반 기울기 ∇J의 곱으로 표현되며, 이는 파라미터 변화가 실제 확률분포 변화에 비례하도록 보장한다. 기존 연구에서는 F의 근사값을 사용하거나 샘플 기반 추정에 의존해 계산 비용과 수치적 불안정성을 야기했지만, eNES는 정확한 F를 행렬 형태로 구성하고, 대칭·양정특성을 이용해 O(d³) 시간 안에 역행렬을 구한다. 핵심은 Σ를 대각선과 비대각 성분으로 분리하고, 블록 행렬 분해와 쉐어드 메모리 기법을 적용해 연산량을 최소화한 것이다.

또한, eNES는 “최적 피트니스 베이스라인”을 도입한다. 베이스라인은 기대값 추정 시 분산을 감소시키는 역할을 하는데, 여기서는 베이스라인을 파라미터에 대한 편미분값과 공분산 구조를 고려해 최소 분산을 달성하도록 해석적으로 구한다. 이는 기존의 고정 베이스라인이나 샘플 평균보다 더 정확한 그라디언트 추정을 가능하게 한다.

중요도 혼합(Importance Mixing) 기법은 새롭게 생성된 샘플을 기존 샘플과 비교해 중요도 가중치를 부여함으로써, 동일한 평가 비용으로 더 많은 정보를 활용한다. 구체적으로, 이전 세대의 샘플을 현재 분포에 대한 중요도 가중치 w = p_new(x)/p_old(x)로 재사용하고, 가중치가 일정 임계값 이하인 경우에만 실제 피트니스 평가를 수행한다. 이 과정은 평가 횟수를 평균 30~50 % 정도 절감하면서도 최적화 진행에 큰 영향을 주지 않는다.

실험에서는 2차원부터 100차원까지의 벤치마크 함수(스피어, 라스베리, 라그랑주, Rastrigin 등)를 대상으로 eNES와 CMA‑ES, xNES, NES‑FD 등 최신 자연 진화 전략을 비교하였다. 결과는 고차원에서는 eNES가 피셔 행렬 정확도 덕분에 수렴 속도가 빠르고, 저차원에서는 베이스라인과 중요도 혼합 덕분에 평가 효율이 뛰어남을 보여준다. 특히, 다중 피크 함수에서 지역 최적에 빠지는 현상이 감소했으며, 전체적인 성공률과 최종 최적값 정확도에서 경쟁 알고리즘을 앞섰다.

요약하면, eNES는 피셔 정보 행렬의 정확한 역산, 최적 베이스라인 설계, 중요도 혼합이라는 세 가지 핵심 기술을 결합해 기존 자연 진화 전략의 한계를 극복하고, 고차원에서도 안정적이고 효율적인 최적화를 구현한다.