비음수 행렬 분해를 위한 효율적 하강법과 순위 1 잔차 반복 RRI 분석

본 논문은 비음수 행렬 분해(NMF)라는 문제를 다양한 하강법 관점에서 체계적으로 검토하고, 새로운 블록 좌표 알고리즘인 Rank‑one Residue Iteration(RRI)을 제안·분석한다. 1. **문제 정의 및 배경** - 데이터 행렬 \(A\in\mathbb{R}_{+}^{m\times n}\)를 두 비음수 행렬 \(U\in\mathbb{R}_{+}^{m\times r}\), \(V\in\mathbb{R}_{+}^{n\times r}\)의 곱으로 근사하는 것이 목표이며, 목적함수는 \(\frac12\|A-UV^{T}\|_{F}^{2}\)이다. - 비음수 제약 때문에 최적화는 비볼록이며, 전역 최소점은 존재하지만 다수의 지역 최소점과 경계점(제약이 활성화된 경우)이 존재한다. 2. **기존 하강법 정리** - Lee‑Seung의 곱셈 업데이트는 구현이 간단하지만 수렴성이 완전하게 증명되지 않았다. - Projected Gradient, Alternating Least Squares(ALS), Hierarchical ALS(HALS) 등은 각각 다른 방식으로 KKT 조건을 만족하도록 설계되었으며, 수렴 보장은 있지만 계산 복잡도가 높거나 파라미터 튜닝이 필요했다. 3. **KKT 조건과 정류점 분석** - 논문은 Lagrangian을 구성하고 KKT 조건을 전개하여, 비음수 제약이 활성화된 경우 \(\nabla_{U}F = UV^{T}V - AV \ge 0\), \(\nabla_{V}F = VU^{T}U - A^{T}U \ge 0\) 및 보완성 조건 \(U\circ \nabla_{U}F = 0\), \(V\circ \nabla_{V}F = 0\)을 도출한다. - 이를 통해 “정류점(stationary point)”을 정의하고, 특히 rank‑1 경우에는 비음수 특이벡터가 전역 최소점임을 증명한다. 4. **Rank‑one Residue Iteration (RRI) 알고리즘** - 현재 근사 \(UV^{T}\)의 잔차 \(R = A - UV^{T}\)를 계산한다. - 잔차에 대해 가장 큰 특이값 \(\sigma\)와 대응하는 좌·우 특이벡터 \(p\in\mathbb{R}_{+}^{m}, q\in\mathbb{R}_{+}^{n}\)를 구한다(비음수 투영을 적용해 \(p,q\ge0\) 보장). - 순위‑1 근사 \(\sigma pq^{T}\)를 이용해 \(U\)와 \(V\)를 업데이트한다: \