무게를 활용한 무전처리 블록 카추마 알고리즘

초록

본 논문은 전처리 없이 균등 샘플링만으로 동작하는 블록 카추마 방법(RBK)의 수렴 특성을 분석하고, 편향과 분산이 크게 증가할 수 있는 문제점을 규명한다. 이를 해결하기 위해 정규화된 블록 카추마 알고리즘(ReBlocK)을 제안하고, 가중 최소제곱 해에 대한 수렴과 편향·분산 제어를 이론적으로 증명한다. 실험을 통해 ReBlocK이 기존 RBK와 미니배치 SGD보다 일관성 없는 문제와 급격히 감소하는 특이값을 갖는 데이터에서 우수함을 보인다.

상세 분석

논문은 대규모 선형 최소제곱 문제에서 전체 행을 한 번에 접근하기 어려운 상황을 가정하고, 한 번에 k ≪ m개의 행만 선택해 업데이트하는 블록 카추마 방법을 연구한다. 기존 연구에서는 행의 노름에 비례한 확률로 샘플링하거나, 사전에 행을 잘-conditioned 블록으로 재배열하는 전처리 단계가 필요했지만, 이러한 전처리는 데이터 규모가 매우 클 때 현실적으로 불가능하다. 저자들은 이러한 전처리 없이도 가장 단순한 균등 샘플링을 적용했을 때의 수렴 거동을 면밀히 분석한다. 핵심 아이디어는 샘플링된 블록에 대한 의사 “질량 행렬”(mass matrix) M(A_S)를 정의하고, 기대값 W와 P를 통해 가중 최소제곱 문제 ‑