무작위 스무딩 기반 비정형 최적화 수렴 분석
본 논문은 비정형(convex) 비부드(convex) 최적화 문제에 무작위 스무딩과 가속화 경사법을 결합한 알고리즘을 제안하고, 그 수렴 속도를 기대값과 고확률 두 관점에서 분석한다. 특히 그래디언트 추정치의 분산에 대한 의존성을 최적화한 최초의 변동성 기반 수렴 결과를 제공한다. 제안 방법은 통계 추정, 분산 최적화 등 다양한 응용에 적용 가능하며, 실험을 통해 실용성을 입증한다.
저자: John C. Duchi, Peter L. Bartlett, Martin J. Wainwright
본 논문은 비부드(convex) 비스무스(non‑smooth) 최적화 문제에 대한 새로운 확률적 알고리즘 프레임워크를 제시한다. 전통적인 확률적 경사 하강법(SGD)은 비부드 함수에 대해 O(1/√T) 수준의 기대값 수렴률을 보이지만, 그래디언트 추정치의 분산 σ²에 대한 의존성을 명시적으로 최적화하지 못한다. 이를 해결하기 위해 저자들은 무작위 스무딩(Randomized Smoothing) 기법을 도입한다. 구체적으로, 원래 목표 함수 f(x)를 스무딩 파라미터 μ와 표준 정규분포 ζ에 대해 f μ(x)=Eζ
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기