확률적 블록 좌표 근접 뉴턴 방법으로 비볼록 복합 최소화

초록

본 논문은 블록별 Lipschitz 연속성을 갖는 부드러운 함수와 구분 가능한 비스무스한 볼록 함수를 합한 복합 최적화 문제를 해결하기 위해, 무작위 블록 선택과 근사 2차 모델을 이용한 확률적 블록 좌표 근접 뉴턴(SBCPNM) 알고리즘을 제안한다. 백트래킹 라인서치를 통한 목표값 감소 보장을 포함하고, 라인서치 없이도 Lipschitz 상수를 이용한 변형을 제시한다. 전역 수렴, 기대 목적값 수렴, 잔차 매핑의 전역·국부 초선형·초이차 수렴 속도를 이론적으로 증명하고, 실험을 통해 효율성을 확인한다.

상세 분석

SBCPNM은 기존의 인액트 프로시멀 뉴턴(IPNM)과 확률적 블록 좌표 하강(BCD) 기법을 결합한 하이브리드 알고리즘이다. 핵심 아이디어는 매 반복마다 사전 정의된 확률분포 D에 따라 블록 집합 S_k를 무작위로 선택하고, 선택된 블록에 대해 2차 정규화 서브문제를 근사적으로 해결한다는 점이다. 서브문제는
\