시냅스 클러스터 기반 진화적 딥러닝 설계

본 논문은 딥 뉴럴 네트워크(DNN)의 효율적인 설계를 위해, 생물학적 시냅스 클러스터 현상을 모방한 새로운 유전 인코딩 방식을 제안한다. 기존의 진화적 딥 인텔리전스(EDNI) 프레임워크는 네트워크 구조를 ‘DNA’라 부르는 확률적 시퀀스로 표현하고, 무작위 변이와 자연 선택을 통해 세대별로 더 경량화된 네트워크를 생성한다. 그러나 이전 연구에서는 시냅스 단위의 확률만을 고려했으며, 시냅스가 모여 형성하는 클러스터(예: 컨볼루션 커널)의 상관관계와 집합적 중요성을 반영하지 못했다. 이를 해결하기 위해 저자들은 시냅스 확률을 두 단계로 분해하는 다중 요인 모델을 도입하였다. 첫 번째 요인은 특정 클러스터 \bar{s}_{g,c} 가 합성될 확률 P(\bar{s}_{g,c}|W_{g‑1})이며, 이는 해당 클러스터 내 가중치들의 절단합을 정규화한 지수함수 형태로 정의된다. 두 번째 요인은 클러스터 내부 개별 시냅스 s_{g,i} 가 합성될 확률 P(s_{g,i}|w_{g‑1,i})이며, 역시 가중치 절댓값을 정규화한 지수함수로 표현된다. 전체 시냅스 집합 S_g 의 합성 확률은 두 확률의 곱으로 계산되어, 강한 클러스터와 그 내부의 강한 시냅스가 동시에 보존될 가능성을 높인다. 진화 과정에서는 환경 요인 F_c(E) 와 F_s(E) 를 도입해, 각 세대마다 전체 시냅스 수가 이전 세대의 80 % 이하가 되도록 제한한다. 이는 자연 선택을 모사한 제약으로, 네트워크가 점진적으로 압축되면서도 성능을 유지하도록 강제한다. 실험 설정은 다음과 같다. MNIST와 STL‑10에는 LeNet‑5를, CIFAR‑10에는 AlexNet을 기본(ancestor) 네트워크로 사용하였다. 각 세대마다 위의 유전 인코딩과 환경 요인을 적용해 새로운 후손 네트워크를 합성하고, 동일한 학습 파이프라인으로 재학습한다. 실험 결과는 세 가지 데이터셋 모두에서 눈에 띄는 효율성 향상을 보여준다. MNIST에서는 13세대에 이르러 시냅스 수가 125배 감소했음에도 테스트 정확도는 0.977(원본 0.994)로 큰 손실이 없었다. STL‑10에서는 10세대에 56배 압축, 정확도는 0.5658(원본 0.5774)로 1.2 % 정도 감소했다. CIFAR‑10에서는 6세대에 14.4배 압축, 정확도는 0.8459(원본 0.8669)로 약 2 % 감소하였다. 각 레이어별 클러스터 효율성을 분석한 결과, 마지막 세대의 커널 수 감소 비율은 MNIST 전체 레이어에서 평균 9.7배, STL‑10에서 5–9배, CIFAR‑10에서 2.8배에 달했다. 이는 GPU와 같은 병렬 연산 장치에서 연산량이 크게 감소함을 의미한다. 실제 GPU 실행 시 연산량 감소에 따른 속도 향상은 ReLU와 같은 비선형 연산이 남아 있어 이론적 9.7배보다 낮을 수 있지만, 메모리 사용량과 전력 소모 측면에서 실질적인 이점을 제공한다. 논문의 주요 기여는 세 가지로 요약된다. 첫째, 시냅스 클러스터를 고려한 다중 요인 유전 인코딩 모델을 제시함으로써, 클러스터 수준과 시냅스 수준 모두에서 선택적 압축을 가능하게 했다. 둘째, 이 모델을 실제 진화적 합성 파이프라인에 적용해, 다양한 네트워크 아키텍처와 데이터셋에서 높은 압축률과 최소한의 정확도 손실을 동시에 달성했다. 셋째, 클러스터 효율성을 정량화하여, GPU 가속 환경에서의 잠재적 속도 향상을 실증적으로 제시했다. 하지만 몇 가지 한계도 존재한다. 현재 클러스터 정의가 컨볼루션 커널에 국한되어 있어, 완전 연결층이나 비정형 그래프 구조에 대한 적용이 제한적이다. 또한 환경 요인 F_c, F_s 의 임계값을 경험적으로 설정했기 때문에, 다른 하드웨어 제약(예: 메모리 대역폭, 전력 제한)이나 응용 분야에 맞는 자동 튜닝 메커니즘이 필요하다. 향후 연구에서는 클러스터를 신경망 그래프의 연결성 기반으로 일반화하고, 강화학습이나 베이지안 최적화를 이용해 환경 요인을 자동으로 조정하는 방법을 탐색할 수 있다. 이러한 확장은 진화적 딥 인텔리전스를 보다 폭넓은 하드웨어·소프트웨어 환경에 적용 가능하게 하여, 차세대 저전력·고성능 AI 시스템 설계에 기여할 것으로 기대된다.