대규모 데이터의 비동질 구조를 위한 무작위·탐욕적 분해 기법

본 논문은 현대 데이터 과학에서 흔히 마주치는 “저차원 구조 + 희소 잡음” 혼합 형태의 행렬을 효율적으로 분해하는 새로운 프레임워크를 제시한다. 기존의 Robust PCA(RPCA)와 같은 방법은 “X = L + S” 모델에 기반해 저차원 행렬 L과 희소 행렬 S를 복구하지만, 실제 데이터는 종종 밀집 잡음 G가 섞여 있어 정확한 복원이 어려우며, 또한 SVD를 반복적으로 수행해야 하는 계산량이 크게 늘어난다. 이를 해결하고자 저자는 “GoDec”(GO Decomposition)이라는 교대 투영 알고리즘을 설계한다. GoDec는 목표 함수를 min_{L,S} ‖X − L − S‖_F² s.t. rank(L) ≤ r, card(S) ≤ k 로 정의하고, 두 서브문제(저차원 근사와 희소 근사)를 번갈아 풀어가며 수렴한다. 저차원 근사는 기존에 전형적인 SVD 기반 hard‑thresholding을 사용했지만, 이는 O(min(mn², m²n)) 연산을 요구한다. 논문은 이를 두 가지 가속 전략으로 대체한다. 1) **Bilateral Random Projection (BRP)** - 무작위 매트릭스 A₁∈ℝ^{n×r}, A₂∈ℝ^{m×r}를 이용해 X의 좌·우 투영 Y₁ = X A₁, Y₂ = Xᵀ A₂를 계산한다. - 이후 L = Y₁ (A₂ᵀ Y₁)⁻¹ Y₂ᵀ 로 저차원 근사를 얻는다. 이 연산은 r×r 역행렬 하나와 세 번의 행렬 곱셈만 필요하므로 전체 복잡도가 O(mnr)로 크게 감소한다. - 스펙트럼이 완만히 감소하는 경우를 대비해 power iteration(또는 “power scheme”)을 적용한다. 즉, ˜X = (XXᵀ)^q X 를 만든 뒤 동일한 BRP 절차를 수행하면 특이값이 (2q+1) 제곱으로 가속 감소해 근사 정확도가 향상된다. 2) **Greedy Bilateral (GreB) Sketch** - BRP가 정확도 면에서 한계가 있을 때, GreB는 Frank‑Wolfe 스타일의 greedy 스키치를 사용한다. 초기 L₀ = 0에서 시작해, 현재 잔차 R = X − L_t − S_t 에 대해 가장 큰 기여를 하는 좌·우 특이벡터 (u, v)를 찾는다. - 구체적으로 u = argmax‖R v‖, v = argmax‖Rᵀ u‖ 를 반복 계산하고, L_{t+1} = L_t + σ u vᵀ (σ는 최적 스칼라) 로 rank‑1 업데이트한다. - 이 과정은 자동으로 필요한 rank r을 결정한다(잔차 ‖R‖_F ≤ ε 가 되면 종료). 따라서 사전에 정확한 r을 지정할 필요가 없으며, 메모리 사용량도 O(r(m+n))에 머문다. 두 전략 모두 수렴성을 보장한다. BRP 기반 업데이트는 저차원 서브스페이스를 정확히 추정하면 한 번의 반복으로 최적에 도달하고, GreB는 매 단계마다 최적의 rank‑1 방향을 선택해 전역 최적점에 수렴한다. 이론적 분석(부록 I, II)에서는 각각의 오류 경계와 복잡도 상한을 제시한다. **GoDec의 변형 모델** 논문은 GoDec를 기반으로 세 가지 실제 문제에 특화된 변형을 제안한다. - **Shifted Subspace Tracking (SST)**: 영상에서 움직이는 객체는 행‑희소(row‑sparse) 행렬들의 합으로 모델링한다. 각 행렬은 특정 기하학적 변환(예: affine warp) 후 저차원 구조를 갖는다. SST는 변환 파라미터와 행‑희소 행렬을 교대로 추정해, 복수의 움직임을 동시에 추적·분할한다. - **Multi‑Label Subspace Ensemble (MSE)**: 다중 라벨 학습에서 라벨마다 독립적인 저차원 서브스페이스를 학습한다. L = Σ_{i=1}^k L_i 로 표현하고, 각 L_i는 라벨 i에 대응하는 서브스페이스를 의미한다. 테스트 샘플은 이 서브스페이스들의 그룹 라소(grouplasso) 표현으로 복원되며, 라벨 간 상관관계를 자연스럽게 반영한다. - **Linear Functional GoDec (LinGoDec)**: 추천 시스템에서 평점 행렬 X를 “W Zᵀ” 형태로 분해한다. Z는 아이템 피처, W는 사용자별 선형 점수 함수를 나타내며, W 자체를 저차원으로 제한해 과적합을 방지한다. 희소 행렬 S는 특정 아이템에 대한 이상 평점(광고, 공격 등)을 탐지한다. 이 모델은 새로운 아이템이 추가될 때 전체 행렬을 완전 복원할 필요 없이 Zᵀ만 업데이트하면 되므로 실시간 예측에 유리하다. **실험 및 평가** - **배경 모델링/영상 분할**: SST는 기존 RPCA 기반 배경 제거보다 8배 빠르게 처리하면서, 움직이는 객체의 경계와 트랙을 정확히 복원한다. - **다중 라벨 이미지 분류**: MSE는 Pascal VOC, MS COCO 데이터셋에서 mAP가 2~3% 상승하고, 학습 시간은 기존 서브스페이스 기반 방법 대비 4배 감소한다. - **추천 시스템**: LinGoDec는 MovieLens 20M 데이터에서 RMSE가 0.845(기존 MF 0.862)이며, 새로운 영화가 추가될 때 예측 지연이 0.02초 수준으로 실시간 요구를 만족한다. 전체적으로, 제안된 GoDec와 그 변형들은 (1) SVD 의존성을 없애고 O(mn r) 수준의 선형 복잡도로 확장성을 확보, (2) 자동 rank/ sparsity 선택을 통해 파라미터 튜닝 비용을 절감, (3) 다양한 도메인에 맞는 구조적 확장을 제공한다는 점에서 기존 RPCA·MCA·DRMF 등과 차별화된다.