효율적 PCA를 위한 다단계 집합 반복법

초록

본 논문은 구조 해석에서 사용된 다단계 집합 기법을 PCA 문제에 적용한 새로운 두 단계 집합 알고리즘을 제안한다. 원본 공분산 행렬을 저차원으로 집합하여 만든 코스 모델을 이용해 전력 반복법(power iteration)으로 고유값·고유벡터를 구하고, 이를 원본 문제에 재삽입해 빠른 수렴을 달성한다. 대규모 텍스트 문서 집합을 대상으로 실험했으며, 기존 SVD 기반 PCA 대비 연산 시간과 메모리 사용량에서 현저한 개선을 보였다.

상세 분석

이 연구는 기존 구조 해석 분야에서 성공적으로 적용된 다중 레벨 집합(Multilevel Aggregation) 기법을 차원 축소와 고유값 문제에 직접 연결한다는 점에서 혁신적이다. 핵심 아이디어는 원본 데이터의 공분산 행렬 Σ∈ℝ^{d×d}를 여러 클러스터로 그룹화하여 각 클러스터의 평균 벡터와 클러스터 크기로 구성된 저차원 집합 행렬 Σ̂를 만든다. Σ̂는 원본 Σ와 동일한 고유공간을 근사하지만 차원이 크게 축소돼 연산 비용이 O(k·d) 수준으로 감소한다(k는 클러스터 수).
알고리즘은 크게 두 단계로 이루어진다. 첫 번째 단계에서는 Σ̂에 대해 전력 반복법을 수행해 근사 고유벡터 v̂₁,…,v̂_m을 얻는다. 여기서 m은 원하는 주성분 수이다. 두 번째 단계에서는 v̂_i를 원본 차원 d로 확장(보간)하여 초기 추정치 v_i^{(0)}를 만든다. 이후 원본 Σ에 대해 전력 반복을 진행하되, 초기값이 이미 고유공간에 가까우므로 수렴 속도가 크게 향상된다.
수학적으로는 전력 반복 단계에서 행렬-벡터 곱셈 Σ·v_i^{(t)}를 수행할 때, 집합 단계에서 얻은 v̂_i를 이용해 Krylov 서브스페이스를 효과적으로 사전 조정(precondition)한다는 해석이 가능하다. 이는 전통적인 전력 반복법이 겪는 고유값 간격(gap) 문제를 완화하고, 특히 고유값 스펙트럼이 촘촘한 대규모 데이터에서 급격한 수렴 가속을 제공한다.
복잡도 분석에 따르면, 집합 행렬 Σ̂를 구성하는 비용은 O(N·d) (N은 샘플 수)이며, Σ̂에 대한 전력 반복은 O(k·m·t̂) (t̂는 집합 단계 반복 횟수)이다. 원본 단계에서는 기존 전력 반복과 동일한 O(d·m·t) 비용이지만, t는 t̂에 비해 현저히 작아진다. 메모리 측면에서도 Σ̂는 d×k 크기의 희소 행렬로 저장 가능해, 전체 메모리 사용량을 O(d·k) 수준으로 제한한다.
실험에서는 10만 문서·5천 차원의 TF‑IDF 행렬, 50만 문서·10천 차원의 워드 임베딩 행렬 등 두 개의 대규모 텍스트 데이터셋을 사용했다. 제안 방법은 기존 SVD 기반 PCA(ARPACK, Lanczos) 대비 평균 3.8배 빠른 실행 시간을 기록했으며, 재구성 오차는 0.5% 이하로 차이가 없었다. 특히 클러스터 수 k를 2%~5% 수준으로 설정했을 때도 높은 정확도를 유지함을 확인했다.
이와 같이 다단계 집합을 이용한 전력 반복법은 고차원·대규모 데이터에서 PCA를 수행할 때 연산 효율성과 메모리 효율성을 동시에 개선할 수 있는 실용적인 대안으로 평가된다.