무작위 스케치 기반 뉴턴 방법 선형 시간 최적화와 초선형 이차 수렴
본 논문은 해시스케치를 이용해 헤시안을 무작위 투영하거나 부분 샘플링함으로써 근사 뉴턴 스텝을 수행하는 “Newton Sketch” 알고리즘을 제안한다. 자기동조함수(self‑concordant)와 강볼록·매끄러운 함수에 대해, 조건수에 의존하지 않는 초선형·이차 수렴을 확률적으로 보장한다. Hadamard 기반의 빠른 랜덤 프로젝션을 사용하면 전체 복잡도가 입력 크기와 선형적으로 비례하여, 전통적인 뉴턴 방법보다 훨씬 효율적이다. 또한, 자기…
저자: Mert Pilanci, Martin J. Wainwright
본 논문은 대규모 볼록 최적화 문제에서 뉴턴 방법의 높은 2차 수렴 속도와 1차 방법의 저비용을 동시에 달성하고자, 무작위 스케치 기법을 적용한 “Newton Sketch” 알고리즘을 제안한다. 먼저, 기존 뉴턴 방법은 현재 점 x_t 에서 헤시안 ∇²f(x_t) 의 역행렬을 계산해 뉴턴 스텝 Δx = -
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기