제한된 영역에서 심층 신경망 출력 범위 추정을 위한 간단한 시뮬레이티드 어닐링 알고리즘

초록

본 논문은 입력 공간이 제한된 상황에서 딥 뉴럴 네트워크(DNN)의 출력 최댓값·최솟값을 추정하기 위해, 대칭적 제안, 경계 반사, 점진적 냉각을 결합한 시뮬레이티드 어닐링(SA) 알고리즘을 제안한다. 내부 구조에 대한 가정을 최소화하고, 수학적 수렴 증명과 다양한 ResNet 기반 실험을 통해 전역 최적점에 수렴함을 실증한다.

상세 분석

이 논문은 딥 뉴럴 네트워크의 출력 범위 분석이라는 문제를 “블랙박스 최적화” 관점에서 재정의한다. 기존 연구들은 주로 그래디언트 기반 로컬 탐색이나 MILP, 구간 연산 등 구조적 가정을 전제로 하여 확장성에 한계를 보였는데, 저자들은 이러한 제약을 완전히 배제하고 입력 도메인이 유한하고 구속된 경우에만 작동하는 전역 탐색 기법을 설계하였다. 핵심 아이디어는 네트워크를 함수 F(x) 로만 취급하고, 현재 상태 x_t 주변에 대칭적인 무작위 제안을 생성한 뒤, 제안점이 입력 경계 밖으로 벗어나면 “사이클 반사(cyclic reflection)”를 적용해 대칭적으로 내부로 되돌린다. 이는 경계 근처에서 샘플이 과도하게 집중되는 현상을 방지하고, 전체 탐색 공간을 균등하게 커버하도록 만든다.

수용 기준은 전통적인 SA와 동일하게 메탈릭 확률 exp((f(x_t)−f(x′))/T) 을 사용하지만, 여기서 T 는 사전 정의된 냉각 스케줄에 따라 점진적으로 감소한다. 초기 고온 단계에서는 열악한 제안도 일정 확률로 수용해 지역 최소점에 빠지는 위험을 완화하고, 온도가 낮아짐에 따라 탐색이 점점 “줌인”되어 실제 전역 최적점에 수렴한다. 논문은 이 과정에서 “최고값(best‑so‑far)”을 지속적으로 기록함으로써, 탐색이 진행되는 동안 이미 발견된 최적값이 손실되지 않도록 설계하였다.

수학적 분석에서는 입력 공간 Ω 가 컴팩트하고 F 가 연속이면, 제안 분포가 대칭적이고 전역적으로 지원(support)한다는 가정 하에, 온도 스케줄 T_k → 0 와 충분히 긴 반복 횟수 N_k 을 만족하면 마르코프 체인 이론에 의해 전역 최적점에 대한 수렴이 보장된다는 정리를 제시한다. 이는 기존 SA 이론(van Laarhoven & Aarts, 1987; Nourani & Andresen, 1998)과 동일하지만, 경계 반사 연산을 포함한 변형에도 동일하게 적용될 수 있음을 증명한다.

실험 부분에서는 ResNet‑18, ResNet‑34 등 다양한 깊이와 폭을 가진 모델에 대해, 입력 도메인을