인공지능 면역 시스템으로 신경망 위원회 탐색

본 논문은 현재 NAS가 안고 있는 고비용, 검색 공간 편향, 복잡도 증가 등의 문제점을 해결하고자 ‘ImmuNeCS(Immune‑inspired Neural Committee Search)’라는 새로운 프레임워크를 제안한다. 기존 NAS는 보통 하나의 최적 아키텍처를 찾아내고, 탐색 과정에서 생성된 다수의 후보를 버리는 방식이다. 저자들은 이와 달리 탐색 종료 시점에 남은 모든 후보를 앙상블하여 ‘신경망 위원회(Neural Network Committee, NNC)’를 구성함으로써, 개별 모델의 성능이 완벽하지 않더라도 집합적인 정확도 향상을 기대한다. 이를 위해 인공 면역 시스템(AIS)의 클론 선택 알고리즘을 변형한 탐색 전략을 사용한다. AIS는 후보 모델을 ‘항체’라 보고, 검증 정확도(친화도)를 기준으로 복제·돌연변이를 진행한다. 동시에, 다양성을 유지하기 위해 항체 간의 상호작용을 조절하고, 높은 성능을 보인 모델은 메모리 풀에 저장해 재활용한다. 이러한 메커니즘은 탐색 초기에 급격한 성능 향상을 가능하게 하고, 정체기에 접어들면 탐색을 조기에 종료할 수 있게 한다. 검색 공간은 DAG(Directed Acyclic Graph) 형태로 정의되며, 각 노드는 ‘Operation(연산)’과 ‘Aggregation(집계)’을 가진다. CIFAR‑10에서는 스킵 연결을 허용해 복잡한 구조를 탐색하도록 설계했고, Fashion‑MNIST에서는 단순 연결만 허용해 비교 실험을 진행했다. 저자들은 세 가지 핵심 가정을 실험적으로 검증한다. 첫째, ‘지역성(locality)’ 가정으로, 작은 구조 변형이 성능에 큰 변동을 주지 않는다는 것을 확인했다. 둘째, ‘부분 평가(partial evaluation)’ 가정으로, 몇 에폭만 훈련한 모델의 순위가 전체 훈련 모델과 높은 상관관계를 가진다는 것을 입증했다. 셋째, ‘점진적 성장(progressive search)’ 가정으로, 현재 강한 구조를 기반으로 단계적으로 확장하면 더 좋은 후보를 얻을 확률이 높다는 것을 실증했다. 효율성을 높이기 위해 가중치 상속(weight inheritance)과 네트워크 형태 변환(network morphism)도 적용한다. 부모 모델의 학습된 파라미터를 자식 모델에 그대로 전달하거나, 변형 후에도 함수 형태를 보존하도록 설계해 평가 비용을 크게 절감한다. 이러한 기법과 AIS 기반 다양성 유지가 결합돼, 전체 탐색 비용을 수십 GPU‑day 수준으로 낮추면서도 무작위 탐색 대비 평균 1%p 이상의 정확도 향상을 달성한다. 실험에서는 CIFAR‑10과 Fashion‑MNIST 두 벤치마크에서 ImmuNeCS가 무작위 탐색보다 일관되게 높은 정확도를 기록했다. 탐색 종료 시점에 구성한 위원회 모델은 개별 최고 모델보다 약 0.8~1.2%p 높은 정확도를 보였으며, 탐색을 조기에 멈출 수 있어 전체 GPU 사용량을 크게 절감했다. 추가 전이 실험에서는 CIFAR‑10에서 학습된 위원회 모델을 더 어려운 데이터셋에 적용했을 때, 직접 해당 데이터셋을 대상으로 탐색한 결과와 비슷한 성능을 유지함을 확인했다. 논문의 한계로는 검색 공간이 비교적 작고, 셀 기반 구조 탐색과의 비교가 부족하다는 점을 들었다. 또한, 다양성 측정이 단순 정확도 기반이므로 보다 정교한 메트릭이 필요할 수 있다. 향후 연구 방향으로는 셀 기반 검색과의 결합, 메타러닝을 통한 탐색 가속화, 그리고 다양성 유지 메커니즘을 강화하는 방안이 제시된다.