고차원 확률경사 추정에 대한 스테인 규칙 수축

초록

**
본 논문은 미니배치 경사를 고차원 평균 추정 문제로 재구성하고, 스테인‑룰(Stein‑rule) 기반 수축 기법을 적용해 편향을 허용하면서 분산을 감소시키는 새로운 그래디언트 추정기를 제안한다. 이를 Adam 옵티마이저에 통합한 SR‑Adam 알고리즘은 계산 비용이 거의 추가되지 않으며, 대규모 배치와 높은 차원의 합성곱 층에서 특히 성능 향상을 보인다. 이론적으로는 가우시안 잡음 가정 하에 제곱오차 손실에서 기존 무편향 추정자를 지배하고, 최소극대(minimax) 최적성을 갖음이 증명된다. 실험에서는 CIFAR‑10/100에서 다양한 입력 잡음 수준에 대해 Adam보다 일관된 개선을 확인하였다.

**

상세 분석

**
이 논문은 현대 딥러닝이 수백만~수십억 차원의 파라미터 공간에서 작동한다는 점에 주목하고, 고차원 통계학에서 “불편 추정자는 비허용(admissible)하지 않다”는 스테인‑제임스 정리를 최적화에 직접 적용한다는 독창적인 접근을 제시한다. 저자는 미니배치 그래디언트를
(g_t = \nabla J(\theta_t) + \varepsilon_t,; \varepsilon_t\sim\mathcal N(0,\sigma^2 I_p))
라는 관측값으로 보고, 기존 모멘텀 (m_{t-1})을 저분산 제한 추정자(restricted estimator)로 설정한다. 이후 스테인‑룰 수축식
\