데이터 스펙트로스코피: 컨볼루션 연산자와 클러스터링

본 논문은 확률분포 P에서 독립적으로 추출된 샘플을 이용해 그 분포의 클러스터링 구조를 복원하는 방법을 제시한다. 기존의 스펙트럴 클러스터링과 커널 주성분 분석(KPCA)은 데이터 인접 행렬 혹은 그래프 라플라시안의 상위 고유벡터가 클러스터 정보를 담고 있다고 가정한다. 그러나 실제 데이터에서는 커널 선택, 고유벡터 개수, 군집 수 등 여러 하이퍼파라미터가 결과에 큰 영향을 미치며, 이들에 대한 이론적 가이드라인이 부족했다. 저자들은 이러한 문제를 해결하기 위해, 커널 K(x,y)=k(‖x−y‖)가 정의하는 컨볼루션 연산자 K_P의 스펙트럼을 모집단 수준에서 분석한다. 먼저, K가 양의 반정정(radial)이며 꼬리 감소가 충분히 빠른 경우 K_P는 trace‑class 연산자가 되어 이산 고유값 λ₀≥λ₁≥…≥0와 정규 직교 고유함수 φ_i를 갖는다. 핵심 정리 1은 고유함수 φ가 데이터 밀도가 거의 없는 영역에서 K와 P의 꼬리 감소율에 비례해 급격히 0으로 수렴한다는 것을 보인다. 이는 고밀도 영역(클러스터) 내부에서는 φ가 크게 유지되고, 클러스터 간 경계에서는 거의 사라지므로, φ 자체가 클러스터 구분 마스크 역할을 할 수 있음을 의미한다. 정리 2는 가장 큰 고유값에 대응하는 최고 고유함수 φ₀가 부호 변화를 전혀 갖지 않으며, 단일 다중도와 P의 지원 전체에 양(또는 음)으로 존재한다는 점을 증명한다. 따라서 φ₀는 전체 데이터의 평균적인 형태를 반영하지만, 개별 클러스터를 구분하는 데는 직접적인 정보를 제공하지 않는다. 다음으로, 혼합분포 P=∑_{g=1}^G π_g P_g를 고려한다. 각 구성요소 P_g에 대해 정의된 K_{P_g}의 고유함수는 해당 클러스터 내부에 집중된다. 교란 이론을 적용하면, 충분히 큰 고유값을 갖는 K_P의 상위 고유함수들은 몇몇 주요 클러스터의 고유함수들의 선형 결합으로 근사됨을 알 수 있다. 그러나 고유값의 크기는 클러스터의 크기·밀도·형상에 따라 달라지므로, 클러스터가 불균형하거나 비구형일 경우 상위 몇 개 고유벡터만으로는 모든 클러스터를 포착하지 못한다. 실제로, 일부 고유벡터는 동일 클러스터를 중복해서 설명하고, 다른 클러스터는 전혀 반영되지 않을 수 있다. 이는 기존 스펙트럴 클러스터링이 상위 k개의 고유벡터만을 사용해 군집 수를 고정하면 정보 손실이 발생함을 이론적으로 설명한다. 이러한 이론적 통찰을 바탕으로 저자들은 Data Spectroscopic Clustering(DaSpec) 알고리즘을 설계한다. 알고리즘 흐름은 다음과 같다. 1. **커널 행렬 구성 및 고유분해**: 샘플 {x_i}_{i=1}^n에 대해 K_n(i,j)=K(x_i,x_j)/n을 만든 뒤, 전체 고유값·고유벡터를 계산한다. 2. **고유벡터 선택 기준 정의**: 각 고유벡터 v^{(ℓ)}에 대해, 연산자 φ^{(ℓ)}(x)=∑_{i=1}^n K(x,x_i)v_i^{(ℓ)}를 정의한다. φ^{(ℓ)}의 절대값이 일정 임계값 τ보다 큰 샘플 비율을 측정한다. 이 비율이 작으면 해당 고유벡터는 클러스터 정보를 제공하지 않는다고 판단한다(즉, 거의 전역적인 성분). 3. **독립적인 핵심 고유벡터 추출**: 위 기준을 만족하면서 서로 다른 고유벡터들 간에 중복된 핵심 영역을 공유하지 않는 경우만을 선택한다. 선택된 고유벡터의 개수 K̂가 자동 추정된 군집 수가 된다. 4. **라벨 할당**: 선택된 고유벡터들의 부호·크기 정보를 이용해 각 데이터 포인트에 라벨을 부여한다. 구체적으로, φ^{(ℓ)}(x_i)의 절대값이 가장 큰 ℓ에 해당하는 클러스터 라벨을 할당한다. 5. **새로운 데이터 분류**: 새로운 샘플이 들어오면 동일한 φ^{(ℓ)}를 계산하고, 가장 큰 절대값을 가진 고유벡터의 라벨을 부여함으로써 일관된 분류 규칙을 제공한다. 알고리즘 파라미터인 커널 폭 ω와 임계값 τ는 데이터의 스케일·밀도 추정에 기반해 자동 조정 가능하도록 제안된다. 실험에서는 두 가지 시뮬레이션 시나리오와 실제 USPS 손글씨 데이터셋을 사용했다. 첫 번째 시뮬레이션은 균형 잡힌 구형 클러스터와 불균형·비구형 클러스터를 포함했으며, DaSpec은 k‑means와 표준 스펙트럴 클러스터링이 군집 수를 잘못 추정하거나 클러스터 경계를 정확히 복원하지 못하는 경우에도 정확한 군집 수와 라벨을 회복했다. 두 번째 시뮬레이션에서는 고차원(100차원) 데이터에 대해 Gaussian 커널을 적용했으며, DaSpec은 차원 저주에 강인하면서도 기존 KPCA 기반 방법보다 높은 분류 정확도를 보였다. USPS 데이터에서는 10개의 숫자 클래스를 대상으로, DaSpec이 다른 방법보다 더 적은 오류율과 안정적인 군집 수 추정을 달성했다. 특히, 일부 숫자(예: ‘1’과 ‘7’)가 다른 숫자에 비해 샘플 수가 현저히 적은 상황에서도 DaSpec은 해당 클러스터를 정확히 식별했다. 논문의 마지막 부분에서는 DaSpec이 제공하는 자동 군집 수 추정, 불균형·비구형 클러스터 처리, 그리고 새로운 데이터에 대한 일관된 분류 규칙이 실용적인 데이터 분석 파이프라인에 어떻게 통합될 수 있는지를 논의한다. 또한, 커널 선택과 파라미터 설정에 대한 이론적 가이드라인을 제공함으로써, 기존 스펙트럴 방법들의 “모드 오브 실패”(failure modes)를 명확히 설명한다. 결론적으로, 이 연구는 (1) 커널 기반 컨볼루션 연산자의 고유함수·고유값이 데이터 분포와 어떻게 연결되는지에 대한 엄밀한 모집단 분석, (2) 상위 고유벡터만으로는 충분하지 않을 수 있다는 근본적인 한계 제시, (3) 이러한 이론을 실용적인 클러스터링 알고리즘(DaSpec)으로 구현하여 자동 군집 수 추정과 불균형·복합형 클러스터 복원을 가능하게 함을 입증한다는 세 가지 주요 공헌을 제공한다.