계층적 제로오더 최적화로 딥러닝 효율 혁신

초록

본 논문은 깊이 차원을 계층적으로 분할하는 Divide‑and‑Conquer 전략인 Hierarchical Zeroth‑Order(HZO) 최적화를 제안한다. HZO는 기존 제로오더 방법의 $O(ML^{2})$ 복잡도를 $O(ML\log L)$ 로 감소시키며, 단위 리프시치(Lip≈1) 조건 하에 수치적 안정성을 유지한다. CIFAR‑10 및 ImageNet 실험에서 백프로파게이션과 경쟁하는 정확도를 달성한다.

상세 분석

HZO는 “깊이 차원”을 직접 분해한다는 점에서 기존 ZO 연구와 근본적으로 차별된다. 논문은 네트워크를 $N_{i:j}$ 형태의 서브넷으로 정의하고, 중간 레이어 $k$에서 좌·우 서브넷으로 이분(bisection)한다. 오른쪽 서브넷에 대해 양방향 차분( bidirectional difference) 방식으로 Jacobian $J=\partial a_j/\partial a_k$ 를 추정하고, $T_k=J^{\top}T_j$ 로 목표 신호를 역전파한다. 이 과정을 재귀적으로 수행해 레이어가 하나 남을 때 Delta Rule 형태의 가중치 업데이트 $\Delta W_i=-\eta T_i a_{i-1}^{\top}$ 를 적용한다.

복잡도 분석에서는 재귀식 $T(L)=2T(L/2)+C_{\text{Jacobian}}(L/2)$ 를 풀어 $T(L)=ML\log_2 L$ 를 도출한다. 여기서 $C_{\text{Jacobian}}$ 은 중간 레이어의 $M$ 개 뉴런에 대해 양쪽 방향으로 2번씩 포워드 패스를 수행하는 비용이다. 따라서 깊이에 대한 2차 의존성을 로그 수준으로 낮추어, 수천 레이어를 갖는 대규모 모델에서도 실용적인 쿼리 수를 보장한다.

오차 분석에서는 제로오더 근사에서 발생하는 2차 테일러 항이 $O(\beta L^{2}L_{\text{lip}}^{L})$ 로 깊이에 대해 지수적으로 성장함을 보인다. 그러나 HZO는 전체 네트워크를 한 번에 교란하지 않고, 각 서브넷 별로 교란을 수행하므로 추가적인 오차가 발생하지 않는다. 따라서 전체 오차는 기존 ZO와 동일한 $O(L^{2}L_{\text{lip}})$ 수준이며, $L_{\text{lip}}\approx1$ (즉, 유니터리 한계) 조건 하에 깊이와 무관하게 안정적인 수렴을 기대할 수 있다.

CNN에 대한 확장은 Spatial Parallel Perturbation(SPP) 전략으로 구현된다. 동일 레이어 내에서 수용 영역이 겹치지 않는 픽셀 집합 $S$ 를 선택해 동시에 교란함으로써, $H\times W$ 규모의 입력에 대해 $O(R^{2})$ (여기서 $R$ 은 수용 영역 크기) 의 상수 복잡도로 Jacobian을 추정한다. 이는 고해상도 이미지 처리 시에도 HZO의 효율성을 유지한다.

실험 결과는 CIFAR‑10에서 ResNet‑32, ResNet‑110, WideResNet 등 다양한 아키텍처에 대해 1~2% 수준의 정확도 손실만을 보이며, ImageNet에서는 ResNet‑50을 90에폭 학습했을 때 백프로파게이션 대비 0.5% 이하의 차이로 수렴한다. 또한 메모리 풋프린트가 절반 이하로 감소하고, 쿼리 수가 $O(ML\log L)$ 로 감소함을 실증한다.

전반적으로 HZO는 제로오더 학습의 “차원 저주”를 깊이 차원에서 해결하고, 생물학적 학습 규칙과의 연계성을 제공한다는 점에서 학술적·실용적 의의가 크다. 다만 $L_{\text{lip}}\approx1$ 을 유지하기 위한 네트워크 설계(잔차 연결, 정규직교 초기화 등)가 필요하고, Jacobian 추정 시 작은 $\epsilon$ 선택에 따라 수치적 민감도가 존재한다는 한계도 남아 있다.