무작위 블록 좌표 하강법의 반복 복잡도와 복합 함수 최소화

초록

본 논문은 부드러운 함수와 블록‑분리 비부드러운 함수의 합으로 구성된 복합 목적함수에 대해 무작위 블록 좌표 하강법(RCDC)을 제안하고, ε‑정밀도 해를 확률 1‑ρ 로 얻기 위한 최대 반복 횟수를 O((n/ε)·log(1/ρ)) 로 엄격히 증명한다. 강하게 볼록한 경우 선형 수렴을 보이며, 기존 Nesterov 결과를 4배 개선하고 로그 항에서 ε 를 제거한다. 또한 확률 가중치와 일반 비유클리드 노름을 허용하고, 대규모 ℓ₁‑정규화 최소제곱 및 SVM 문제에 대한 실험을 제시한다.

상세 분석

이 논문은 크게 두 가지 기여를 한다. 첫째, 부드러운 함수 f와 블록‑분리 비부드러운 함수 Ψ의 합인 복합 목표함수 F(x)=f(x)+Ψ(x) 에 대해 무작위 블록 좌표 하강법(RCDC)을 적용하고, 고확률(1‑ρ) 복잡도 경계를 명시적으로 도출한다. 구체적으로, 초기점 x⁰ 로부터 ε 이하의 함수값 차이를 달성하기 위해 필요한 반복 횟수 k는
k ≤ 2n·max{R_W²·L(x⁰), F(x⁰)−F*}·ε⁻¹·(1+log(1/ρ))
와 같은 형태이며, 여기서 n 은 블록 수, L 은 각 블록에 대한 Lipschitz 상수, R_W(x⁰) 은 W‑노름에 대한 초기 거리 척도이다. 강한 볼록성(μ>0) 하에서는
k ≤ max{4/μ, μ/(μ−1)}·n·log((F(x⁰)−F*)/(ε·ρ))
로 선형 수렴을 보인다. 두 번째 기여는 기존 Nesterov·Nestrov 결과와 비교했을 때, (i) 정규화 없이 직접 복합 함수에 대한 복잡도 분석을 수행하고, (ii) 상수 4 로 개선된 복잡도와 로그 항에서 ε 제거, (iii) 임의의 확률 벡터 p와 일반 비유클리드 노름을 허용한다는 점이다.

알고리즘 설계 측면에서 저자는 두 가지 특수 케이스를 제시한다. Algorithm 2(UCDC)는 블록을 균등 확률로 선택하고, Algorithm 3(RCDS)는 사전 정의된 확률 p_i 로 선택한다. 두 경우 모두 기대값 분석이 아니라 고확률 경계를 제공함으로써 실제 대규모 환경에서의 신뢰성을 높였다.

기술적 핵심은 ‘thresholding argument’를 이용해 정규화 없이도 비강볼록 복합 문제에 대한 수렴을 보장한 점이다. 이는 기존에 강볼록성을 강제하기 위해 목적함수에 μ·‖x‖² 항을 추가하던 방식과는 근본적으로 다르다. 또한, Lipschitz 상수 L_i 를 블록별로 다르게 설정함으로써 데이터의 비동질성을 반영하고, 확률 p_i 를 L_i 에 비례하도록 선택하거나, 실험적으로 적응적으로 조정하는 ‘speed‑up by shrinking’ 기법을 제안한다.

복합 함수의 경우, Ψ가 ℓ₁ 정규화, 그룹 라쏘, 박스 제약 등 다양한 형태를 포함할 수 있어, 제안된 알고리즘은 광범위한 머신러닝·통계학 문제에 적용 가능하다. 실험에서는 차원 10⁹ 수준의 ℓ₁‑정규화 최소제곱과 대규모 SVM을 대상으로, 기존 좌표 하강법 및 가속형 방법과 비교해 동일 정확도에서 약 2~3배 빠른 수렴을 확인하였다.

전체적으로 이 논문은 무작위 블록 좌표 하강법의 이론적 복잡도와 실용성을 동시에 강화한 중요한 연구이며, 특히 고확률 복잡도 분석, 일반 확률 가중치, 비유클리드 노름 적용이라는 세 가지 혁신이 큰 의미를 가진다.