확률적 2차 정보와 라인서치 결합한 새로운 준뉴턴 알고리즘

** 본 논문은 확률적 최적화 문제, 즉 비용 함수 f(x)와 그라디언트 ∇f(x)에 대한 정확한 값 대신 노이즈가 섞인 추정치만을 이용할 수 있는 상황을 대상으로 새로운 준뉴턴 알고리즘을 제안한다. 전통적인 확률적 최적화는 주로 1차 정보에 의존하는 SG, Adam, RMSProp 등으로 구성되며, 이들 방법은 스텝 사이즈와 스케일링 문제 때문에 수렴 속도가 느리거나 파라미터 선택에 민감한 단점이 있다. 반면, 결정론적 최적화에서 널리 쓰이는 BFGS·L‑BFGS와 같은 준뉴턴 기법은 2차 정보를 학습해 빠른 수렴을 달성하지만, Hessian을 직접 계산하거나 근사하는 과정이 확률적 그라디언트에 바로 적용되기 어렵다. 저자들은 이러한 격차를 메우기 위해 두 가지 핵심 아이디어를 도입한다. 첫 번째는 Hessian을 가우시안 프로세스(GP)로 모델링하는 것이다. Hessian은 대칭 행렬이므로, half‑vectorisation을 통해 고유 원소만을 추출하고, duplication matrix D를 이용해 전체 행렬을 복원한다. 이렇게 변환된 형태는 선형 관측식 \