BANANAS 신경망 구조 탐색을 위한 베이지안 최적화와 신경 예측기

본 논문은 최근 NAS 분야에서 주목받고 있는 “베이지안 최적화와 신경 예측기 결합” 접근법을 체계적으로 분석하고, 이를 기반으로 새로운 알고리즘 BANANAS를 제안한다. 서론에서는 NAS가 딥러닝 모델 설계의 자동화를 목표로 발전해 왔으며, 기존 BO 기반 방법이 거리 함수 설계와 행렬 역연산 등 계산적 한계에 부딪혔음을 지적한다. 이러한 문제를 해결하기 위해 신경 예측기를 사용해 아키텍처를 직접 임베딩하고, BO의 획득 함수를 통해 효율적인 탐색을 수행하는 프레임워크가 등장했지만, 기존 연구들은 전체 파이프라인만을 평가해 개별 구성 요소의 기여도를 명확히 밝히지 못했다. 이에 저자들은 프레임워크를 **아키텍처 인코딩**, **신경 예측기**, **불확실성 보정**, **획득 함수**, **획득 최적화 전략**의 다섯 핵심 모듈로 분해한다. 각 모듈에 대해 다양한 설계 옵션을 실험적으로 비교한다. 1. **아키텍처 인코딩** - 기존 인접 행렬 방식은 노드 순서에 의존하고, 특징 간 상관관계가 높아 학습이 어려웠다. - 새롭게 제안한 **경로 인코딩**은 입력‑출력 사이의 모든 가능한 연산 경로를 이진 특성으로 표현한다. 이 방식은 노드 순서에 무관하고, 각 특성이 독립적인 경로를 나타내어 예측 모델이 더 효율적으로 학습한다. - 이론적으로는 큰 셀에서 대부분의 경로가 낮은 발생 확률을 가지므로, 전체 경로 집합을 제한된 길이로 잘라도 정보 손실이 거의 없음을 정리 5.1을 통해 증명한다. 실험에서는 전체 364비트 인코딩을 20비트로 축소해도 예측 정확도가 유지되었다. 2. **신경 예측기** - Feed‑Forward Network(FFN), Graph Convolutional Network(GCN), Variational Auto‑Encoder(VAE)를 비교했다. - 경로 인코딩을 사용했을 때 FFN이 가장 높은 예측 정확도와 학습 속도를 보였으며, GCN와 VAE는 복잡도 대비 이점이 적었다. 3. **불확실성 보정** - 베이지안 신경망(BNN)과 모델 앙상블을 시험했으며, 앙상블이 계산 비용이 낮으면서도 안정적인 불확실성 추정을 제공한다는 결론에 도달했다. 4. **획득 함수** - Expected Improvement(EI), Thompson Sampling(TS), Upper Confidence Bound(UCB) 등을 테스트했다. - EI가 가장 빠른 수렴을 보였으며, 특히 경로 인코딩과 앙상블 예측기를 결합했을 때 탐색 효율이 크게 향상되었다. 5. **획득 최적화 전략** - 무작위 샘플링, 진화 기반 탐색, 직접적인 파라미터 최적화(Gradient‑Free) 등을 비교했다. - 다중‑샘플링(k‑parallel)과 파라미터화된 최적화(예: CMA‑ES)를 결합한 전략이 전체 파이프라인의 효율성을 최적화한다는 결과를 얻었다. 이러한 분석을 토대로 만든 **BANANAS**는 다음과 같은 특징을 가진다. - **경로 인코딩**을 사용해 아키텍처를 효율적으로 표현하고, FFN 기반 예측기에 앙상블 불확실성 보정을 적용한다. - **EI**를 획득 함수로 채택하고, k‑parallel 샘플링과 파라미터화된 탐색을 통해 매 iteration마다 다수의 후보를 동시에 평가한다. 실험에서는 NASBench‑101, NASBench‑201, NASBench‑301 세 가지 공개 벤치마크를 사용했다. NASBench‑101에서는 기존 최고 기록을 1.5%p(테스트 정확도) 이상 능가했으며, NASBench‑201 전 데이터셋에서도 평균 0.3%p 정도의 개선을 보였다. NASBench‑301에서도 최신 1‑st‑order 방법들(예: DARTS, PC‑DARTS, GDAS)과 경쟁 가능한 성능을 기록했다. 또한 논문은 **NAS 연구 체크리스트**를 충실히 따랐으며, 실험 재현성을 위해 코드와 전처리 스크립트를 공개했다. 사회적 영향 섹션에서는 NAS 기술이 딥러닝 모델 효율성을 높여 탄소 발자국 감소에 기여할 수 있는 긍정적 측면과, 동시에 딥페이크와 같은 악용 가능성을 언급하며 책임 있는 연구의 필요성을 강조한다. 결론적으로, 본 연구는 NAS에서 BO + Neural Predictor 프레임워크의 각 구성 요소가 성능에 미치는 영향을 명확히 규명하고, 경로 기반 인코딩이라는 새로운 설계 원칙을 제시함으로써 NAS 효율성을 크게 향상시킨다. 향후 연구에서는 더 큰 셀 구조와 다중 목표 최적화(예: 연산량, 메모리)에도 적용 가능한 확장성을 탐색할 수 있다.