빠르고 빠른 스트리밍 행렬 분해 알고리즘 비교

초록

본 논문은 대규모 텍스트 코퍼스인 전체 영문 위키피디아를 대상으로, 입력을 한 번만 읽는 분산 알고리즘(P1)과 두 번 읽는 확률적 알고리즘(P2)을 실험적으로 비교한다. 메모리 사용량을 관측 수에 독립적으로 유지하면서 정확도와 실행 시간을 평가하고, 오버샘플링, 파워 이터레이션, 청크 크기, 입력 순서, 클러스터 규모 등의 변수 영향을 분석한다. 결과는 P2가 오버샘플링과 파워 이터레이션을 충분히 적용하면 높은 정확도를 보이지만 여러 번의 패스가 필요하고, P1은 패스가 적어 스트리밍 환경에 유리하지만 입력 순서에 민감함을 보여준다.

상세 분석

이 연구는 현대 빅데이터 환경에서 행렬 분해 알고리즘의 핵심 병목인 “입력 패스 수”와 “관측 수에 대한 메모리 의존성”을 동시에 최소화하려는 두 접근법을 정량적으로 비교한다. 첫 번째 접근법인 P1은 Radim Řehůrek(2010)에서 제안한 분산 일괄 처리 방식으로, 각 워커가 문서 청크를 메모리 내에서 SVDLIBC를 이용해 부분 SVD를 수행하고, 이후 병합 단계에서 결과를 결합한다. 이 과정은 관측 수 n에 비례하는 메모리를 요구하지 않으며, 네트워크 대역폭이 제한된 환경에서도 거의 통신 오버헤드가 없다는 장점이 있다. 그러나 청크 단위로 부분 분해를 수행하기 때문에 전체 특이값 스펙트럼이 청크 경계에서 급격히 변할 경우, 특히 입력이 사전식(lexicographic) 순서일 때 서브스페이스 드리프트가 발생한다. 실험 2.3에서 무작위 셔플을 적용했을 때 특이값이 크게 달라지는 현상이 관찰되었으며, 이는 P1이 입력 순서에 의존적인 “온라인” 특성을 가지고 있음을 의미한다. 따라서 실시간 스트리밍 상황에서 데이터가 자연스럽게 무작위화되지 않는다면, 정확도 저하를 방지하기 위해 청크 크기를 크게 하거나 추가적인 재조정 메커니즘이 필요하다.

두 번째 접근법인 P2는 Halko et al.(2009)의 확률적 저차원 투영 기법을 기반으로 하며, 입력을 두 번(또는 q+2번) 읽어 샘플 매트릭스 Y를 구축하고, 파워 이터레이션을 통해 잡음에 강인한 서브스페이스를 추정한다. 핵심 최적화는 (1) 스트림에서 직접 Y를 누적해 O(m·(k+l)) 메모리만 사용하고, (2) 최종 고유값 문제를 k×k 크기의 작은 행렬 X로 축소한다는 점이다. 이 “두 패스” 구조는 메모리 효율성을 유지하면서도, 오버샘플링 파라미터 l과 파워 이터레이션 횟수 q를 늘리면 정확도가 급격히 상승한다는 실험 결과와 일치한다(그림 1b). 특히 l≥400, q≥3일 때 P2는 P1·P12보다 특이값을 더 정확히 복원한다. 그러나 패스 수가 증가함에 따라 전체 실행 시간이 크게 늘어나며, 특히 대용량 위키 데이터(0.5 억 비제로)에서는 7시간 이상 소요된다. 또한 데이터가 이미 분산 파일시스템에 존재한다면 네트워크 전송 비용이 크게 감소할 수 있지만, 본 실험에서는 단일 이더넷 구간을 사용했기에 P2의 분산 확장은 제한적이었다.

오버샘플링과 파워 이터레이션 외에도 청크 크기, 클러스터 노드 수, 그리고 입력 순서가 정확도와 성능에 미치는 영향을 정량화하였다. 청크 크기(10k, 20k, 40k) 변화는 실행 시간에만 선형적인 영향을 미치고 정확도에는 거의 차이가 없었다(그림 2). 이는 병합 단계가 전체 비용의 주요 비중을 차지함을 시사한다. 클러스터 확장성 실험에서는 P1·P12이 노드 수에 비례해 거의 선형적으로 가속화되었으며, 통신 오버헤드가 미미함을 확인했다(그림 4). 반면 P2는 추가 패스가 필요하므로 네트워크 라운드트립이 전체 실행 시간을 지배하게 된다.

결론적으로, 스트리밍 환경에서 “패스 최소화”가 최우선이라면 P1·P12이 실용적이며, 특히 클러스터를 활용해 선형 확장성을 얻을 수 있다. 그러나 정확도가 핵심 요구사항이고 데이터가 이미 로컬에 존재하거나 충분히 오버샘플링·파워 이터레이션을 적용할 수 있다면 P2가 더 나은 선택이다. 또한, 입력 순서에 대한 민감성을 완화하기 위해 사전식 정렬을 피하거나 청크 병합 시 추가적인 재정렬/재샘플링 전략을 도입하는 것이 향후 연구 과제로 제시된다.