탭우 탐색과 모멘텀 경사 하강을 이용한 심층 신경망 구조 자동 최적화

초록

본 논문은 피드포워드 신경망(FNN)의 은닉층 수와 각 층의 뉴런 개수를 자동으로 결정하기 위해 탭우 탐색(TS)과 모멘텀을 적용한 경사 하강(GDM) 학습을 결합한 하이브리드 최적화 프레임워크를 제안한다. 제안 방법은 초기 1‑층 구조에서 시작해 반복적으로 후보 구조를 생성·평가하고, 테스트 오류가 최소인 구조를 탭우 리스트에 저장한다. 실험은 얼굴 인식, 가스 센서 드리프트, MNIST 손글씨, ISOLET 음성 데이터 네 개의 벤치마크에서 수행돼, 기존 GA·SA 기반 방법 대비 과적합을 억제하면서 적절한 깊이와 뉴런 수를 찾아낸다.

상세 분석

이 연구는 신경망 구조 설계 문제를 전통적인 ‘히트 앤 트라이’ 방식에서 메타휴리스틱 탐색으로 전환한다는 점에서 의미가 크다. 탭우 탐색은 단일 이웃 탐색이 아닌 ‘배치 탐색’을 통해 한 번에 다수의 후보 해를 평가함으로써 계산 비용을 절감하고, 최근 방문 해를 금지 리스트에 저장해 순환을 방지한다. 논문은 이를 GDM(모멘텀을 포함한 경사 하강)과 결합해 두 단계의 최적화를 구현한다. 첫 단계인 TS는 은닉층 수와 각 층의 뉴런 수를 조정하는 ‘구조 탐색’을 담당하고, 두 번째 단계인 GDM은 선택된 구조에 대해 가중치를 학습한다.

구조 표현은 3‑tuple ⟨HL, HN, E⟩ 로 정의된다. HL은 은닉층 개수, HN은 각 층의 뉴런 수를 담은 벡터, E는 해당 구조의 테스트 오류이다. 초기 해는 입력·출력 노드 수는 고정하고, 은닉층은 1개, 뉴런 수는