대규모 클러스터링을 위한 분산 커널 K‑평균

초록

본 논문은 커널 K‑means의 메모리·연산 복잡도를 완화하기 위해, 사용 가능한 메모리에 따라 자동으로 정확도와 속도 사이의 균형을 맞추는 근사 알고리즘을 제안한다. 또한 CPU‑GPU 하이브리드 환경에 최적화된 병렬화 전략을 설계해 대규모 UCI 데이터와 분자 동역학 시뮬레이션 데이터를 효율적으로 클러스터링한다.

상세 분석

커널 K‑means는 비선형 데이터 구조를 선형적으로 구분할 수 있는 장점이 있지만, 모든 샘플 간의 커널 행렬을 저장해야 하는 O(N²) 메모리 요구사항 때문에 대규모 데이터에 적용하기 어렵다. 저자들은 이 문제를 해결하기 위해 두 단계의 근사화를 도입한다. 첫 번째는 “대표 집합”(representative set) 선택 단계로, 전체 데이터에서 메모리 한계에 맞춰 일정 수의 중심점(또는 서브샘플)을 추출한다. 이때 k‑means++와 유사한 확률적 선택 방식을 사용해 데이터 분포를 잘 반영하도록 한다. 두 번째는 선택된 대표 집합에 대해 커널 K‑means를 수행하고, 얻어진 클러스터 중심을 전체 데이터에 매핑하는 단계이다. 이 과정에서 각 원본 샘플은 가장 가까운 대표 중심에 할당되며, 할당 비용은 커널 함수를 이용해 효율적으로 계산된다.

메모리‑우선 전략은 “메모리 제한 → 대표 집합 크기 결정 → 근사 비용 최소화”라는 흐름으로 자동화된다. 즉, 시스템이 제공하는 GPU 메모리 용량을 입력으로 받아, 가능한 최대 대표 집합 크기를 계산하고, 그에 맞는 커널 행렬을 부분적으로만 저장한다. 이렇게 하면 메모리 초과 오류 없이 연산을 진행할 수 있다.

병렬화 측면에서는 CPU와 GPU의 역할을 명확히 분리한다. CPU는 데이터 전처리, 대표 집합 선택, 클러스터 할당 로직 등 제어 흐름이 복잡한 작업을 담당하고, GPU는 대규모 행렬 연산, 커널 값 계산, 거리 측정 등 계산 집약적인 부분을 담당한다. 특히, GPU 메모리 내에서 블록 단위로 커널 행렬을 슬라이딩 윈도우 방식으로 로드하여, 전체 행렬을 한 번에 메모리에 올리지 않아도 된다. 또한, CUDA 스트림을 활용해 데이터 전송과 연산을 겹쳐 수행함으로써 PCIe 대역폭 병목을 최소화한다.

실험에서는 UCI 레포지토리의 여러 표준 데이터셋(예: MNIST, CIFAR‑10 변형)과 분자 동역학 시뮬레이션에서 추출한 수십만 개의 원자 좌표 데이터를 대상으로 정확도와 실행 시간을 비교했다. 결과는 기존 전체 커널 행렬을 사용하는 정확한 커널 K‑means와 비교했을 때, 메모리 사용량은 90 % 이상 절감하면서도 클러스터링 품질(정밀도·재현율·Adjusted Rand Index)은 2 % 이내 차이로 유지됨을 보여준다. 특히, GPU 가속을 적용한 경우 전체 실행 시간이 10배 이상 단축되어 실시간 혹은 준실시간 분석이 가능해졌다.

마지막으로, 저자들은 제안 방법을 마코프 상태 모델(MSM) 구축에 적용해, 클러스터링 기반의 상태 구분이 화학 반응 경로 분석에 어떻게 활용될 수 있는지를 시연한다. 이 과정에서 얻어진 클러스터는 메타안정 상태(meta‑stable states)로 해석되어, 전이 확률 행렬 추정에 직접 사용될 수 있다. 따라서 제안된 분산 커널 K‑means는 대규모 비선형 데이터 클러스터링뿐 아니라, 과학·공학 분야의 복합 시뮬레이션 데이터 해석에도 유용한 도구가 된다.