비볼록 확률 프로그래밍을 위한 확률적 1차·0차 방법

본 논문은 비볼록 확률 프로그래밍 문제를 해결하기 위해 무작위화된 확률적 경사(RSG) 알고리즘을 제안하고, 그 복잡도와 수렴성을 이론적으로 분석한다. 또한 다중 실행 후 후처리 단계(2‑RSG)를 도입해 고확률 성능을 향상시키고, 순수 함수값만 이용 가능한 경우를 위한 제로차 버전(RSGF)의 복잡도 결과도 제시한다.

저자: Saeed Ghadimi, Guanghui Lan

본 논문은 비볼록일 가능성이 있는 확률 프로그래밍(SP) 문제를 다루기 위해 새로운 확률 근사(SA) 기반 알고리즘들을 제시하고, 그 이론적 복잡도와 수렴 특성을 체계적으로 분석한다. 먼저, 전통적인 SA가 강한 볼록성 가정에 의존하고, 단계 크기 선택이 어려워 실제 적용에 한계가 있다는 점을 지적한다. 이를 극복하기 위해 무작위화된 확률적 경사(Randomized Stochastic Gradient, RSG) 방법을 고안한다. RSG는 일반적인 SA와 달리 알고리즘 실행 중 무작위 종료 시점 R을 도입하고, 각 단계의 크기 γ_k와 R의 확률 질량 함수 P_R(k)를 특별히 설계한다. 이러한 설계는 기대값 관점에서 ‖∇f(x_R)‖²의 상한을 명시적으로 제어할 수 있게 하며, 비볼록 경우 ε-정밀도(‖∇f‖²≤ε)를 얻기 위해 O(1/ε²) 반복이 필요함을 증명한다. 반면, 목적 함수가 볼록일 경우 함수값 차이 E

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기