역코딩 트리를 활용한 신경망 진화 최적화

본 논문은 신경망 진화(Nueral Evolution, NE) 분야에서 가장 널리 사용되는 NEAT(NeuroEvolution of Augmenting Topologies)의 탐색 효율성 문제를 해결하고자 “역코딩 트리(Reverse Encoding Tree, RET)”라는 새로운 토폴로지 코딩 방식을 제안한다. 먼저 서론에서는 NE가 백프로파게이션 없이도 희소 피드백 환경에서 학습이 가능하고, 개체 기반 병렬화가 장점이지만, 토폴로지 혁신 보호와 진화 속도 사이의 트레이드오프가 여전히 큰 과제로 남아 있음을 지적한다. 기존 연구들은 스페시에이션 전략 개선, 진화 전략 강화, 새로운 토폴로지 도입 등으로 이를 완화하려 했지만, 탐색 공간이 무제한으로 확장되는 문제는 여전히 존재한다. 관련 연구 섹션에서는 (A) NE의 진화 전략, (B) 전통적인 탐색 방법(이진 탐색, 황금분할 탐색 등) 및 그 변형, (C) 네트워크 코딩 방식(직접 코딩, 간접 코딩, 엣지 코딩) 등을 정리한다. 특히 엣지 코딩은 인접 행렬을 이용해 그래프를 직접 표현함으로써 토폴로지 변이를 보다 정밀하게 제어할 수 있다는 점을 강조한다. 핵심 제안인 RET는 다음과 같은 구성 요소로 이루어진다. 1) **피처 매트릭스 정의**: 각 개체는 최대 노드 수 m을 제한하고, 피처 매트릭스 f∈ℝ^{m×(m+1)} 로 표현한다. 첫 열은 노드 바이어스, 나머지 열은 연결 가중치를 담는다. 2) **역방향 트리 탐색**: 기존 NEAT는 엘리트 개체를 기반으로 변이·교차를 수행해 하위 세대를 만든다. RET는 엘리트 개체들을 리프 노드로 두고, 두 리프 사이에 이진 탐색(Binary Search) 혹은 황금분할 탐색(Golden‑Section Search) 연산을 적용해 새로운 루트 개체를 만든다. 이때 중간 피처 매트릭스를 계산해 create() 함수를 통해 실제 네트워크를 생성한다. 3) **클러스터링 및 상관계수 분석**: 현재 세대의 개체들을 K‑means++ 로 p개의 클러스터로 나눈 뒤, 각 클러스터 내 최적 개체와 나머지 개체들의 피처 거리와 적합도 사이의 피어슨 상관계수 ρ(i)를 계산한다. ρ가 -1에 가까우면 단일 피크형 지형, 0에 가깝거나 양수이면 다중 피크형 복잡 지형을 의미한다. 이 정보를 활용해 작은 피크에 해당하는 개체들을 의도적으로 제외함으로써 탐색이 지역 최적에 머무는 현상을 방지한다. 알고리즘 흐름은 다음과 같다. 초기 세대는 무작위 피처 매트릭스로 생성하고, 각 개체의 적합도를 평가한다. 이후 (1) 기존 NEAT 변이 연산으로 인접 개체를 생성하고, (2) RET의 전역 탐색으로 두 엘리트 개체 사이에 새로운 개체를 만든다. 생성된 개체들을 클러스터링하고 ρ를 계산한 뒤, 각 클러스터에서 최고 적합도를 가진 개체를 저장한다. 이렇게 선정된 엘리트와 전역 탐색으로 만든 개체가 다음 세대의 후보가 된다. 실험에서는 세 가지 벤치마크 환경을 사용했다. (i) **논리 게이트**(XOR, NAND 등) – 이산 출력 문제, (ii) **CartPole** – 연속 제어 문제, (iii) **LunarLander** – 복합 물리 시뮬레이션. 비교 대상은 기존 NEAT와 FS‑NEAT(Fixed‑Structure NEAT)이며, 평가 지표는 (1) 제한된 타임스텝 내 누적 보상, (2) 목표 성능 달성까지 필요한 에피소드 수, (3) 잡음(가우시안, 센서 노이즈) 하에서의 적합도 변동성이다. 결과는 다음과 같다. Bi‑NEAT와 GS‑NEAT는 모두 평균 누적 보상이 기존 NEAT 대비 12~18% 상승했으며, 목표 보상(예: CartPole 195점) 도달에 필요한 에피소드 수가 20~35% 감소했다. 특히 GS‑NEAT는 황금분할 비율이 탐색 구간을 보다 효율적으로 축소해 복잡한 피트니스 지형에서 빠른 수렴을 보였다. 잡음 테스트에서는 두 방법 모두 적합도 변동 폭이 약 30% 이하로 억제되어, 기존 방법보다 강인함이 크게 향상되었다. 또한, 진화 과정에서 생성된 네트워크의 평균 노드 수가 15~25% 감소했으며, 이는 모델 간소화와 추론 비용 절감으로 이어졌다. 연산 복잡도 분석에서는 RET가 전역 탐색을 통해 변이·교차 연산을 대체함으로써 세대당 평균 연산량이 기존 NEAT 대비 15~25% 감소함을 확인했다. 이는 특히 대규모 병렬 환경에서 GPU/CPU 활용 효율을 높이는 장점으로 작용한다. 논문의 한계점으로는 (1) 최대 노드 수 m와 클러스터 수 p를 사전에 설정해야 하며, 문제마다 최적 파라미터 탐색이 필요함, (2) 현재는 이진·황금분할 탐색만 적용했으며, 다중 목표 최적화나 비선형 탐색 트리와의 결합 가능성은 미탐색 상태, (3) 클러스터링 단계에서 K‑means 초기화에 따라 결과가 다소 변동될 수 있다. 결론에서는 RET가 토폴로지 진화에 전역 탐색 원리를 도입하고, 클러스터 기반 상관 분석으로 탐색 방향을 정교화함으로써 NEAT 기반 신경망 진화의 효율성, 간결성, 강인성을 동시에 개선한 혁신적 프레임워크임을 강조한다. 향후 연구에서는 동적 노드 제한, 다중 목표 최적화, 다른 전역 탐색 기법(예: 베이지안 최적화)과의 통합을 통해 더욱 일반화된 진화 알고리즘을 개발할 계획이다.