하둡 기반 병렬 스펙트럴 클러스터링

초록

본 논문은 스펙트럴 클러스터링을 대규모 데이터에 적용하기 위해 하둡(Hadoop) 환경에서 병렬화한 알고리즘을 제안한다. 기존 스펙트럴 클러스터링이 고차원 라플라시안 행렬의 고유값 분해에 높은 계산 비용을 요구하는 문제를, MapReduce 프레임워크를 이용해 행렬 연산을 분산 처리함으로써 해결한다. 실험 결과, 제안 알고리즘이 데이터 규모가 증가할수록 선형에 가까운 시간 복잡도를 보이며, 클러스터링 품질도 기존 순차 구현과 동등하거나 향상됨을 확인하였다.

상세 요약

스펙트럴 클러스터링은 그래프 라플라시안(Laplacian) 행렬의 몇 개의 작은 고유값과 대응하는 고유벡터를 이용해 데이터를 저차원 임베딩 공간으로 투사한 뒤, 전통적인 k‑means와 같은 군집화 기법을 적용하는 방법이다. 이 과정에서 가장 큰 계산 부하는 (1) 유사도 행렬(보통 완전 그래프 형태)의 구축, (2) 라플라시안 행렬의 고유값·고유벡터 계산, (3) 고유벡터 기반 정규화 및 k‑means 수행이다. 특히 고유값 분해는 O(n³) 수준의 복잡도를 가지므로, 수십만~수백만 개의 샘플을 다루는 현대 빅데이터 환경에서는 실용적이지 않다.

논문은 이러한 병목을 해소하기 위해 하둡의 MapReduce 모델을 세 단계에 걸쳐 적용한다. 첫 번째 Map 단계에서는 입력 데이터 쌍(pairwise) 간 유사도를 계산하고, 이를 부분 행렬 형태로 분산 저장한다. Reduce 단계에서는 부분 행렬을 합쳐 전체 유사도 행렬을 재구성하고, 동시에 대칭성을 이용해 메모리 사용량을 절반으로 줄인다. 두 번째 MapReduce 파이프라인에서는 라플라시안 행렬을 직접 구성하지 않고, 그래프 라플라시안의 특성을 이용해 행렬‑벡터 곱 연산만을 반복 수행하는 전력법(power iteration) 혹은 Lanczos 방법을 구현한다. 이때 각 반복마다 벡터를 블록 단위로 분산 저장하고, Map 작업에서 로컬 곱셈을 수행한 뒤 Reduce에서 결과를 집계한다. 이렇게 하면 고유벡터를 근사적으로 얻을 수 있으며, 전체 고유값 분해를 수행하는 비용을 크게 낮출 수 있다.

세 번째 단계에서는 얻어진 고유벡터들을 다시 하둡 파일 시스템(HDFS)에 저장하고, Map 작업을 통해 각 데이터 포인트를 저차원 좌표로 매핑한다. 이후 k‑means는 기존의 병렬 k‑means 구현(Picard, Mahout 등)을 활용하거나, MapReduce 기반의 자체 구현을 통해 수행한다. 논문은 k‑means 단계에서도 초기 중심점 선택을 개선하기 위해 k‑means++ 전략을 병렬화했으며, 이는 군집 품질을 유지하면서 수렴 속도를 가속화한다.

핵심적인 기술적 기여는 다음과 같다. 첫째, 완전 그래프 유사도 행렬을 직접 메모리에 적재하지 않고, 블록‑단위로 분산 저장·계산함으로써 메모리 한계를 극복하였다. 둘째, 고유값 분해 대신 전력법 기반 반복 곱셈을 MapReduce에 적합하도록 설계하여, 대규모 행렬 연산을 효율적으로 수행하였다. 셋째, 전체 파이프라인을 하둡 에코시스템(HDFS, YARN, MapReduce) 내에서 일관되게 구현함으로써 클러스터 관리와 작업 스케줄링을 자동화하였다.

실험에서는 합성 데이터와 실제 이미지/텍스트 데이터셋을 사용해 스케일‑업 성능을 평가하였다. 데이터 포인트 수를 10⁴에서 10⁶까지 증가시켰을 때, 순차적 MATLAB/Scikit‑learn 구현은 메모리 초과 혹은 실행 시간 초과를 보였지만, 제안 알고리즘은 20~30배 정도의 속도 향상을 기록했다. 또한 정밀도·재현율·Adjusted Rand Index(ARI) 등 군집 품질 지표는 기존 순차 구현과 거의 동일하거나 미세하게 개선되었다. 이는 고유벡터 근사 과정에서 발생할 수 있는 오차가 k‑means 단계에서 충분히 보정될 수 있음을 시사한다.

한계점으로는 (1) MapReduce의 배치 특성상 반복 횟수가 많은 전력법이 네트워크 I/O 비용을 증가시킬 수 있다는 점, (2) 완전 그래프 대신 k‑NN 기반 희소 그래프를 사용하면 메모리·연산 효율이 더욱 개선될 가능성이 있다는 점을 제시한다. 향후 연구에서는 Spark와 같은 인메모리 프레임워크를 활용하거나, 그래프 처리 전용 시스템(GraphX, Pregel)과 결합해 실시간 혹은 스트리밍 환경에서도 스펙트럴 클러스터링을 적용하는 방안을 모색할 수 있다.