일반화된 무작위 방향 뉴턴 알고리즘

** 본 논문은 “일반화된 무작위 방향 뉴턴 알고리즘”이라는 제목 아래, 함수값에 노이즈가 섞여 있어 직접적인 미분이 불가능한 상황에서 헤시안 행렬을 효율적으로 추정하고 이를 이용한 확률적 뉴턴 최적화 방법을 제시한다. 1. **연구 배경 및 동기** - 현대의 머신러닝·강화학습·시뮬레이션 기반 최적화 문제는 종종 목표 함수의 정확한 형태를 알 수 없고, 오직 노이즈가 포함된 함수값(zeroth‑order)만을 얻을 수 있다. - 기존의 확률적 근사(SA) 방법은 그라디언트만을 추정하거나, 2‑SPSA·2‑RDSA와 같이 2~4회의 함수 측정으로 헤시안을 근사하지만, 편향이 O(δ) 또는 O(δ²) 수준에 머물러 수렴 속도가 느리다. - 특히, 뉴턴 기반 방법은 헤시안 정보가 필요하지만, 정확한 헤시안을 얻기 위해서는 O(d²) 측정이 요구돼 고차원에서 비현실적이다. 2. **핵심 기여** - **일반화된 헤시안 추정기**: 다중 차수 테일러 전개를 이용해 미분 연산자를 무한 급수 형태로 표현하고, 이를 k 번째 항까지 절단한 연산자 D_k 를 정의한다. 두 번 적용해 H_i = D_i∘D_i 형태의 헤시안 추정기를 얻으며, 편향은 O(δ^k) 로 감소한다. - **측정 횟수와 편향의 트레이드오프**: k 가 커질수록 필요한 함수 측정 횟수는 2k+1 으로 증가한다. k=0이면 기존 2‑SPSA와 동일한 2회, k=1이면 3회, k=2이면 5회 측정이 필요하다. - **편향·분산 분석**: Gaussian 섭동을 가정하고, 기대값 연산을 통해 E