방향성 변이와 단계 기록을 통한 진화 프로그래밍 가속화

본 논문은 진화 프로그래밍(EP)에서 수렴 속도를 높이기 위해 ‘방향성 변이(Directional Mutation)’와 ‘단계 기록(Step Recording)’이라는 두 가지 메타‑진화 전략을 제안한다. 방향성 변이는 완전 공분산 행렬을 사용하지 않으면서도 변이 방향을 상관시켜 저장 비용을 절감하고 회전 불변성을 제공한다. 단계 기록은 성공적인 작은 변이의 크기를 후속 세대의 변이율에 반영함으로써 유용한 탐색 경로를 재사용한다. 두 기법을 각…

저자: Ted Dunning

방향성 변이와 단계 기록을 통한 진화 프로그래밍 가속화
본 논문은 진화 프로그래밍(EP)에서 수렴 속도를 높이면서도 다중모달 문제에 대한 탐색 능력을 유지할 수 있는 두 가지 메타‑진화 전략, ‘방향성 변이(Directional Mutation)’와 ‘단계 기록(Step Recording)’을 제안한다. 기존 EP는 변이율을 전역적으로 감소시키는 냉각 스케줄을 사용하거나, 변이 방향을 제어하기 위해 전체 공분산 행렬을 유전자로 포함시키는 방법을 사용했다. 전자는 문제에 대한 사전 지식이 없을 때는 효과적이지만, 변이율이 급격히 감소하면 좁은 골짜기와 같은 고난이도 지형에서 탐색이 정체된다. 후자는 n 차원 문제에서 n² 개의 파라미터를 추가해야 하므로 메모리와 연산 비용이 크게 증가하고, 파라미터 자체를 어떻게 변이시킬지에 대한 설계가 복잡해진다. ‘방향성 변이’는 이러한 한계를 극복하기 위해 변이 연산을 두 부분으로 분리한다. 첫 번째는 ‘방향 성분’으로, 한 차원의 벡터 k를 사용해 특정 방향으로의 변이를 유도한다. 두 번째는 ‘전방향 성분’으로, 평균 0, 표준편차 σ인 정규분포에서 샘플링한 값을 모든 차원에 독립적으로 더한다. 두 성분을 합하면 타원형 가우시안 변이 분포가 형성되며, 이는 완전 공분산 행렬이 제공하는 방향성 정보를 근사한다. 중요한 점은 k와 σ 자체도 메타‑변이 대상이 되어, 변이 파라미터가 스케일이나 회전에 따라 변하지 않는 자기유사(self‑similar) 특성을 갖는다. 따라서 변이 연산은 회전 불변성을 유지하면서도 저장 비용은 O(n) 수준에 머문다. ‘단계 기록’은 변이율을 독립적으로 조정하는 대신, 부모와 자식 사이의 실제 이동 거리 ‖Δx‖를 변이율로 직접 할당한다. 이는 성공적인 작은 변이가 발생했을 때 그 변이 크기가 후속 세대에 그대로 반영되어, 미세 탐색을 지속하도록 만든다. 기존 메타‑진화에서는 변이율이 크게 유지된 채 작은 변이가 일어나면 다음 세대에서 다시 큰 변이가 적용돼 개선 가능성을 놓치는 경우가 많았다. 단계 기록은 이러한 문제를 해결하고, 특히 좁은 골짜기 안에서 점진적인 수렴을 가능하게 한다. 두 전략을 각각 혹은 결합하여 실험을 수행했다. 실험에 사용된 문제는 (1) 3차원 대칭 이차 볼(F1), (2) 보하체프스키 다중모달 이차 볼(F6), (3) 축에 비정렬된 2차원 좁은 골짜기(F9)이다. 각 알고리즘은 20명의 생존자를 매 세대 유지하고, 각 생존자는 9명의 자손을 생산해 200명 전체 인구를 구성하였다. 10번 반복 후 중위값을 사용해 수렴 곡선을 그렸다. 대칭 볼에서는 기존 EP가 약간 빠른 수렴을 보였지만, 최종 정확도와 최적 해 도달 횟수는 모든 변형이 비슷했다. 이는 전방향 변이 성분이 주된 탐색 역할을 하며, 방향성 변이가 크게 기여하지 않은 결과로 해석된다. 보하체프스키 함수에서도 차이가 크지 않았으며, 특히 방향성 변이만 사용했을 때는 수렴 속도가 다소 느려졌다. 이는 방향성 변이가 복잡한 다중모달 구조에서 과도하게 특정 방향으로 편향될 위험이 있음을 시사한다. 가장 중요한 결과는 비정렬된 좁은 골짜기 문제에서 나타났다. 기존 EP와 방향성 변이만 사용한 경우는 변이율이 골짜기 폭보다 크게 설정되면 대부분의 변이가 골짜기 밖으로 벗어나며, 골짜기 축에 도달하기 전까지 변이율이 급격히 감소해 수렴이 거의 정지한다. 반면 ‘방향성 변이 + 단계 기록’ 조합은 초기 큰 변이로 골짜기 축을 빠르게 찾아낸 뒤, 단계 기록에 의해 변이율이 자동으로 축에 맞는 작은 값으로 조정된다. 결과적으로 몇 세대 안에 축을 따라 고정밀 해에 도달했으며, 수렴 속도와 최종 오류 모두 현저히 개선되었다. 논문은 또한 메타‑변이 연산이 자기유사성과 회전 불변성을 만족함을 수학적으로 논의하고, 이러한 특성이 변이 파라미터가 여러 세대에 걸쳐 스케일링되더라도 알고리즘의 동작을 일관되게 만든다고 주장한다. 실험에서 30차원까지 확장했을 때도 동일한 경향이 관찰되었으며, 이는 고차원 실세계 문제(예: 인공신경망 가중치 최적화, 전자 필터 설계)에도 적용 가능함을 암시한다. 결론적으로, 이 논문은 (1) 공분산 행렬 없이도 충분히 방향성을 제공하는 저비용 변이 모델, (2) 성공적인 변이 크기를 기록해 변이율을 동적으로 조정하는 메커니즘, (3) 두 메커니즘을 결합했을 때 좁은 골짜기와 같은 비축 정렬 문제에서 현저히 향상된 수렴 특성을 실증한 점을 주요 공헌으로 제시한다. 향후 연구에서는 다양한 메타‑변이 연산과의 조합, 그리고 실제 산업 응용 사례에 대한 검증이 필요하다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기