균일 샘플링과 이중 인구 기반 다목적 진화 알고리즘을 활용한 신경망 구조 탐색

초록

본 논문은 정확도와 연산 복잡도(MAdds)를 동시에 최적화하는 다목적 신경망 구조 탐색(NAS) 방법인 MOEA‑BUS를 제안한다. 초기 개체군을 목표 공간에 균일하게 배치하는 샘플링 기법과 두 개의 인구가 상호 교류하며 탐색 범위를 넓히는 이중 인구 구조를 도입해 다양성을 강화한다. CIFAR‑10과 ImageNet 실험에서 기존 최첨단 방법들을 능가하는 정확도와 효율성을 입증했으며, 정량적 실험과 소거 연구를 통해 제안 기법의 효과를 검증하였다.

상세 분석

MOEA‑BUS는 다목적 진화 알고리즘(MOEA)의 두 가지 핵심 약점을 보완한다. 첫째, NAS 검색 공간은 복잡도와 정확도 사이에 비선형 관계가 존재해 무작위 초기화 시 특정 복잡도 구간(주로 중간 규모)으로 편향된다. 저자는 이를 해결하기 위해 ‘균일 샘플링(Uniform Sampling)’을 두 단계로 설계하였다. 초기 단계에서는 목표 공간(정확도‑MAdds) 전체를 격자 형태로 나눈 뒤, 각 격자에 최소 하나의 개체를 배치한다. 두 번째 단계에서는 격자 내에서 무작위 변이를 적용해 다양성을 확보한다. 이 과정은 특히 복잡도 극단값(극소·극대) 영역에 개체를 고르게 분포시켜, 이후 진화 단계에서 탐색이 편향되지 않도록 만든다.

둘째, 기존 MOEA는 하나의 인구만을 사용하거나, 다인구 전략을 적용하더라도 교류 정책이 단순해 인구 간 유전적 동질화가 발생한다. MOEA‑BUS는 ‘이중 인구(bi‑population)’ 구조를 채택해 두 개의 서브 인구가 독립적으로 진화하면서 일정 주기마다 엘리트 개체를 교환한다. 교환 정책은 적합도와 다양성 두 기준을 동시에 고려해, 고성능 개체는 전달하되 동일한 유전자가 과도히 집중되지 않도록 설계되었다. 결과적으로 탐색 초기에 넓은 영역을 커버하고, 중·후기에는 우수 유전자를 공유해 수렴 속도를 가속한다.

알고리즘의 효율성을 높이기 위해 저자는 서브시스템으로 ‘대리 모델(surrogate model)’과 ‘가중치 상속(weight inheritance)’을 결합했다. 서브시스템은 초기에 적은 샘플로 정확도 예측 모델을 학습하고, 이후 후보 아키텍처의 실제 학습 없이 예측값을 활용해 선택 압력을 가한다. 동시에, 슈퍼넷에서 사전 학습된 가중치를 재사용해 실제 평가 시 필요한 학습 비용을 크게 감소시켰다.

실험 결과는 두 가지 데이터셋에서 눈에 띈다. CIFAR‑10에서는 98.39%의 최고 정확도를 기록했으며, 이는 기존 NAS 방법 대비 0.5% 이상 향상된 수치이다. ImageNet에서는 Top‑1 80.03%를 달성했으며, 특히 446M MAdds 이하의 경량 모델에서도 78.28%라는 높은 정확도를 유지했다. 이는 복잡도 제한 하에서도 성능 저하를 최소화한 것을 의미한다.

소거 연구(ablation study)에서는 (1) 균일 샘플링 없이 무작위 초기화, (2) 단일 인구 구조, (3) 서브시스템 없이 전통적인 평가 방식을 각각 제거한 경우를 비교하였다. 그 결과, 균일 샘플링이 없을 경우 초기 다양성이 크게 감소해 최종 파레토 프론트가 좁아졌으며, 이중 인구를 제거하면 수렴 속도가 늦어지고 지역 최적에 머무르는 현상이 관찰되었다. 또한, Kendall’s τ 지표를 활용한 서베이에서는 서포트 벡터 머신(SVM) 기반 대리 모델이 다른 세 모델보다 최소 0.035 높은 상관성을 보였으며, 균일 샘플링을 적용했을 때 τ가 약 0.07 상승하는 효과가 확인되었다.

이 논문은 NAS 분야에서 ‘탐색 다양성’과 ‘연산 효율성’ 사이의 트레이드오프를 체계적으로 다루며, 특히 복잡도 극단값을 포함한 전 영역을 균일하게 탐색하는 방법론을 제시한다. 제안된 MOEA‑BUS는 기존 다목적 진화 NAS가 직면한 초기 편향과 탐색 정체 문제를 해결하고, 실용적인 경량 모델 설계에도 적용 가능함을 입증한다. 향후 연구에서는 더 복잡한 다목적(예: 에너지 소비, 메모리 사용) 설정과 실시간 하드웨어 피드백을 결합한 폐쇄형 루프 최적화로 확장할 여지가 있다.