효율적인 신경망 구조 진화 EENA

**1. 연구 배경 및 동기** 최근 자동 신경망 구조 탐색(NAS) 알고리즘은 뛰어난 성능을 보이지만, 대부분이 탐색 공간을 무작위 혹은 방향성 없이 탐색하고, 중간 구조마다 전체 학습을 수행해야 하는 높은 연산 비용이 문제다. 특히 진화적 NAS는 7일·450 GPU와 같은 대규모 자원을 필요로 하며, 강화학습·베이지안 최적화 기반 방법도 많은 구조 평가가 요구된다. 이러한 상황에서 저자들은 “경험 기반 진화”라는 아이디어를 도입해 기존에 학습된 파라미터와 구조 정보를 재활용함으로써 연산 효율을 극대화하고자 한다. **2. 핵심 아이디어 – EENA** EENA는 두 가지 핵심 연산을 설계한다. - **변이(Mutation) 연산**: Net2Net에서 영감을 받아 함수 보존을 전제로 레이어 폭 확대, 브랜치 추가, 단일 레이어 삽입, 쇼트컷 연결 삽입, 덴스 연결 삽입 등 6가지 변이를 정의한다. 각 변이는 기존 가중치를 복제·재배열하거나, 작은 노이즈를 추가해 대칭을 깨는 방식으로 초기화한다. 이렇게 하면 새 구조가 기존 학습된 파라미터를 그대로 활용해 성능 저하 없이 확장될 수 있다. - **교배(Crossover) 연산**: 두 부모 구조의 변이 기록을 추적해 공통 조상을 찾는다. 공통 조상에서 시작해 각 부모가 추가한 변이 중 일부를 선택적으로 상속함으로써, 파라미터 재활용을 유지하면서도 새로운 조합을 생성한다. 이는 기존 진화적 NAS가 파라미터를 완전히 재학습해야 하는 문제를 해결한다. **3. 진화 알고리즘 설계** - **선택(Selection)**: 토너먼트 선택을 사용해 무작위로 k명을 뽑고 가장 높은 적합도(정확도)를 가진 개체를 선택한다. 교배 시에는 적합도가 높은 두 개체 중 서로 다른 구조를 가진 것을 선택한다. - **폐기(Discard)**: 인구 크기를 일정하게 유지하기 위해 매 라운드마다 가장 성능이 낮은 개체와 가장 오래된 개체를 각각 λ와 1‑λ 확률로 제거한다. 이를 통해 과적합을 방지하고 탐색 속도를 조절한다. - **진화 흐름**: 초기에는 간단한 ConvNet(파라미터 0.67 M)으로 시작해 변이·교배·선택·폐기의 순환을 수행한다. 각 변이 후에는 짧은 학습(예: 몇 에폭)만 수행해 적합도를 평가한다. **4. 실험 및 결과** - **CIFAR‑10**: 0.65 GPU‑day(≈15시간)만 사용해 8.47 M 파라미터, 2.56 % 테스트 오류율을 달성했다. 이는 동일 데이터셋에서 7 일·450 GPU를 사용한 기존 진화 기반 NAS보다 수백 배 효율적이다. - **전이성**: 동일 구조를 CIFAR‑100에 그대로 적용했을 때도 경쟁력 있는 성능을 보이며, 구조의 일반화 가능성을 입증했다. - **변이·교배 효과 분석**: 각 변이와 교배가 성능 향상에 미치는 기여도를 통계적으로 분석했으며, 특히 레이어 폭 확대와 브랜치 추가가 큰 영향을 미쳤다. - **시각화**: 진화 과정은 계통수(phylogenetic tree) 형태로 시각화돼, 시간에 따라 적합도가 상승하고 조상이 어떻게 변이·교배되는지 명확히 보여준다. **5. 논문의 기여 및 한계** - **기여**: (1) 경험 기반 교배 연산을 최초로 제안, 파라미터 재활용을 통한 연산 절감. (2) 변이 연산을 체계적으로 정의하고, 실제 실험에서 높은 효율성을 입증. (3) 작은 연산 자원으로도 CIFAR‑10에서 최첨단 수준의 정확도를 달성. (4) 발견된 구조의 CIFAR‑100 전이 가능성을 실증. - **한계**: 탐색 공간이 사전에 정의된 변이에 의해 제한돼 새로운 혁신적 구조 발견이 어려울 수 있다. 교배 시 공통 조상 탐색 비용이 인구 규모가 커질수록 증가한다. 실험이 CIFAR 계열에 국한돼 ImageNet 등 대규모 데이터셋에 대한 검증이 부족하다. 또한, 변이와 교배가 파라미터 재활용에 초점을 맞추다 보니 완전 새로운 아키텍처를 탐색하는 능력이 제한될 가능성이 있다. **6. 결론 및 향후 연구** EENA는 경험 기반 변이·교배 설계를 통해 진화적 NAS의 연산 효율을 크게 향상시켰으며, 제한된 GPU 자원에서도 강력한 모델을 찾을 수 있음을 보였다. 향후 연구에서는 변이 연산을 더 다양화하고, 공통 조상 탐색을 효율화하며, 대규모 데이터셋 및 다양한 도메인(예: 객체 검출, 시계열)으로 확장하는 것이 기대된다.