ENAS 학습 진행이 정체 검색 공간 설계가 핵심

본 논문은 Efficient Neural Architecture Search(ENAS)의 핵심 메커니즘인 컨트롤러 학습이 실제로 아키텍처 품질 향상에 기여하는지를 체계적으로 검증한다. ENAS는 파라미터 공유와 강화학습 기반 LSTM 컨트롤러를 이용해 수백 개의 후보 신경망을 동시에 학습하고, 검증 정확도를 피드백으로 컨트롤러를 업데이트한다는 아이디어로 주목받았다. 그러나 기존 연구에서는 컨트롤러가 얼마나 학습되는지, 그리고 학습이 진행됨에 따라 생성되는 아키텍처가 실제 성능 면에서 얼마나 개선되는지에 대한 정량적 분석이 부족했다. 연구자는 두 가지 주요 데이터셋(CIFAR‑10, CIFAR‑100)과 두 가지 검색 공간(매크로·마이크로)을 선택해 실험을 설계하였다. 매크로 검색 공간은 레이어별 연산 종류와 스킵 연결을 직접 선택하도록 설계되었으며, 마이크로 검색 공간은 셀 내부 구조를 선택하도록 제한한다. 각 검색 공간에 대해 ENAS 구현을 그대로 사용하고, 컨트롤러를 0 epoch(무작위 샘플링)부터 최종 epoch(매크로 310 epoch, 마이크로 150 epoch)까지 단계별로 저장하였다. 저장된 각 시점에서 컨트롤러가 생성한 아키텍처를 추출하고, 공유 가중치를 무시한 채 동일한 학습 스케줄(310 epoch)로 처음부터 재학습시켜 테스트 정확도를 측정하였다. 표 1과 그림 1에 제시된 결과는 다음과 같은 핵심 사실을 드러낸다. 첫째, 초기 무작위 아키텍처와 최종 컨트롤러가 선택한 아키텍처 사이의 테스트 정확도 차이가 0.1 % 이하로, 실질적인 향상이 없었다. 둘째, 공유 가중치 기반 검증 정확도와 재학습 후 테스트 정확도 사이에 통계적으로 유의미한 상관관계가 없었다. 이는 ENAS가 사용하는 검증 신호가 컨트롤러 업데이트에 의미 있는 정보를 제공하지 못한다는 것을 의미한다. 셋째, CIFAR‑100과 같이 더 어려운 데이터셋에서도 동일한 패턴이 관찰되었으며, 성능 향상이 1 % 미만에 그쳤다. 이러한 결과는 ENAS가 제안한 “컨트롤러가 점진적으로 더 좋은 서브그래프를 선택한다”는 가설을 반증하지 못한다는 점에서 기존 NAS 연구와 중요한 차이를 만든다. 대신, 검색 공간 자체가 충분히 제한적이고 설계가 잘 되어 있기 때문에 무작위 샘플링만으로도 높은 품질의 아키텍처를 얻을 수 있음을 보여준다. 이는 최근 Li & Talwalkar(2019), Adam & Lorraine(2019) 등에서 보고된 컨트롤러의 숨겨진 상태가 아키텍처 특성을 반영하지 못한다는 발견과도 일치한다. 논문은 또한 “one‑shot” 접근법, 즉 하나의 공유 가중치 네트워크를 미리 학습하고 서브그래프를 무작위로 추출하는 방식이 ENAS와 동등하거나 더 나은 성능을 제공한다는 실증적 근거를 제시한다. 따라서 향후 NAS 연구는 복잡한 강화학습 기반 컨트롤러를 고집하기보다, 검색 공간을 어떻게 효율적으로 설계하고, 서브그래프 선택을 확률적 혹은 간단한 휴리스틱으로 수행할 것인가에 초점을 맞추는 것이 더 생산적일 것으로 보인다. 결론적으로, 본 연구는 ENAS의 성공 요인이 컨트롤러 학습이 아니라 검색 공간 설계에 있음을 명확히 밝히며, 검색 공간 자체를 최적화하는 방향이 NAS 효율성을 크게 향상시킬 수 있음을 시사한다. 향후 연구에서는 다양한 데이터셋·도메인에 대한 검색 공간 설계 원칙을 체계화하고, 컨트롤러 없이도 높은 성능을 보장하는 one‑shot 메커니즘을 더욱 발전시킬 필요가 있다.