초대형 고행렬 NMF를 위한 효율적 차원축소와 단일패스 알고리즘

본 논문은 비음수 행렬 분해(NMF)를 근접 분리 가능(near‑separable) 가정 하에, 행이 열보다 훨씬 많은 ‘tall‑and‑skinny’ 행렬에 대해 효율적으로 수행할 수 있는 새로운 알고리즘 프레임워크를 제시한다. 먼저, NMF 문제는 X≈WH 형태로 데이터를 저차원 비음수 기저와 계수 행렬로 표현하는데, 일반적인 경우 최적화가 NP‑complete이며, 따라서 구조적 가정이 필요하다. 근접 분리 가능성은 모든 열이 소수의 ‘극점(extreme columns)’에 의해 생성된 원뿔(cone) 안에 존재한다는 가정으로, 이 가정 하에서는 두 단계(극점 탐색 → 계수 행렬 계산)만으로 정확한 분해가 가능하다. 논문은 이러한 가정을 활용해 두 가지 차원 축소 기법을 제안한다. 첫 번째는 직교 변환 기반 방법이다. 원본 행렬 X∈ℝ^{m×n}(m≫n)을 얇은 QR 분해 X=QR 혹은 얇은 SVD X=UΣVᵀ 로 표현하고, QᵀX 혹은 UᵀX 를 계산한다. 이때 QᵀX와 UᵀX는 상위 n×n 블록인 R 또는 ΣVᵀ와 0 행렬이 결합된 형태가 되며, 0 행은 정보가 없으므로 실제 극점 탐색은 R 혹은 ΣVᵀ에만 집중하면 된다. 직교 변환은 회전·반사에 해당해 데이터의 기하학적 구조(열 2‑노름, 원점에서의 거리 등)를 보존하므로, XRAY, SPA와 같은 기존 극점 탐색 알고리즘을 그대로 적용할 수 있다. 또한, 변환 후에도 동일한 극점 인덱스 K가 유지되므로, 원본 데이터에 대한 정확한 복원을 보장한다. 두 번째 차원 축소 방법은 무작위 Gaussian 프로젝션이다. m×k 크기의 Gaussian 행렬 G를 샘플링해 GᵀX 를 계산하면, k=O(r log r)일 경우 원본 행렬의 r개의 극점이 높은 확률로 보존된다. 이 방법은 특히 열 정규화가 필요하지만, 논문에서는 MapReduce 환경에서 한 번의 스캔으로 정규화와 프로젝션을 동시에 수행하는 알고리즘을 설계한다. 차원 축소가 완료되면, 극점 탐색 단계에서는 작은 n×n 행렬(R 또는 ΣVᵀ)에서 XRAY, SPA, 혹은 Hott‑Topixx와 같은 기하학적 알고리즘을 실행한다. 이 단계에서 선택된 열 인덱스 집합 K는 원본 행렬 X의 극점에 해당한다. 이후 두 번째 단계에서는 H를 계산한다. H는 최소 제곱 오차를 최소화하는 비음수 선형 시스템으로, 각 열에 대해 독립적인 NNLS 문제로 분해된다. 차원 축소 덕분에 이 문제는 n×n 크기의 행렬만을 사용해 해결되며, 연산 복잡도는 O(n³) 수준에 머문다. 또한, 잔차 계산도 동일한 축소 공간에서 수행할 수 있어, 여러 후보 K에 대해 빠르게 평가하고 최적의 분리 차원 r을 선택할 수 있다. 알고리즘 구현 측면에서 논문은 TSQR(통신 최적화 얇은 QR)과 R‑SVD(얇은 SVD의 변형)를 활용한다. TSQR은 m≫n 상황에서 통신 비용을 최소화하며, MapReduce, MPI, GPU 등 다양한 플랫폼에 적용 가능하다. R‑SVD은 QR 결과를 이용해 Σ와 Vᵀ를 추가 연산 없이 얻어, 전체 파이프라인을 단일 패스로 수행한다. 특히, MapReduce 구현에서는 각 맵 단계에서 행별로 외적(g_i x_iᵀ) 을 계산하고, 리듀스 단계에서 이를 합산해 GᵀX 를 얻는다. 컬럼 정규화는 별도의 두 번 읽기가 필요 없도록, 맵 단계에서 동시에 수행한다. 실험에서는 두 가지 실제 데이터셋을 사용한다. 첫 번째는 열전달 시뮬레이션 데이터로, 수백만 행에 50여 개의 물리량이 포함된 행렬이며, 두 번째는 흐름 세포계측(flow cytometry) 데이터로, 1.6 × 10⁹ 행, 25 열 규모이다. 합성 데이터에서는 알려진 극점과 잡음 수준을 조절해 정확도와 복원률을 평가했으며, 제안된 직교 변환 기반 방법이 Gaussian 프로젝션보다 높은 성공 확률을 보였다. 실제 데이터에서는 기존 NMF(Lee‑Seung, ALS 등)와 비교해 메모리 사용량이 10배 이하로 감소하고, 실행 시간도 수십 배 빨라졌다. 특히, 극점 탐색 정확도는 원본 데이터와 거의 차이가 없으며, 다양한 r값에 대해 잔차를 빠르게 계산해 최적 r을 선택함으로써 실용적인 탐색적 분석이 가능함을 입증했다. 결론적으로, 이 논문은 (1) 직교 변환을 통한 정확하고 손실 없는 차원 축소, (2) 단일 패스 스트리밍·MapReduce 구현, (3) TSQR·R‑SVD 기반의 통신 최적화, (4) 대규모 실제 과학·생물정보 데이터에 대한 실증을 통해, tall‑and‑skinny 행렬에 대한 근접 분리 가능 NMF를 실용적인 수준으로 끌어올렸다. 이러한 접근은 특징 차원은 작지만 샘플 수가 방대한 빅데이터 환경에서 NMF 기반 탐색적 분석, 특징 추출, 클러스터링 등에 널리 활용될 수 있다.