스펙트럼 근사법의 실용적 비교: Nyström vs. 가우시안 프로젝션

초록

본 논문은 대규모 그래프 라플라시안의 고유벡터를 근사하는 두 기법, 전통적인 Nyström 확장과 최근 제안된 가우시안 프로젝션을 비교한다. 단순 행렬 재구성 오류가 아니라, 근사 고유벡터를 특징으로 사용했을 때의 클러스터링·분류 성능에 초점을 맞춘다. 실험 결과는 근사 차수와 작업 종류에 따라 두 방법의 우열이 바뀌며, 파라미터 선택의 난이도 역시 차이가 있음을 보여준다.

상세 분석

이 논문은 머신러닝에서 널리 쓰이는 스펙트럴 임베딩, 특히 그래프 라플라시안을 기반으로 한 diffusion map을 대상으로 한다. 라플라시안 행렬 L은 n×n 규모가 되면 전통적인 고유값 분해는 O(n³) 비용이 소요돼 실용성이 떨어진다. 이를 해결하기 위해 두 가지 저차원 근사법을 도입한다. 첫 번째는 오래된 Nyström 확장으로, 전체 행렬에서 m개의 열(또는 행)을 무작위 혹은 가중치에 따라 샘플링해 작은 m×m 서브행렬 W(m)를 만든 뒤, 그 고유벡터를 원래 행렬에 ‘확장’한다. 두 번째는 ‘Gaussian projection’이라 명명된 방법으로, 무작위 정규분포 행렬 Ω∈ℝ^{n×m}를 생성하고 Y=WΩ를 계산해 Y의 열공간을 정규직교화(Q)한다. 이후 Q를 기반으로 작은 행렬 B를 구성하고, B의 고유분해를 통해 원래 행렬의 고유벡터를 근사한다.

이론적 측면에서 논문은 두 방법 모두 rank‑m 근사에 대한 상한을 제시하지만, 상한 형태가 서로 다르고 직접적인 비교가 어려워 실험적 검증이 필수적임을 강조한다. 특히, 행렬 재구성 오차(Frobenius norm)와 실제 머신러닝 작업 성능 사이의 연관성이 약하다는 점을 지적한다.

실험은 세 가지 과업을 통해 수행된다. (1) 매니폴드 복원: ‘fishbowl’과 ‘halo‑ball’ 형태의 합성 데이터에 대해 m을 동일하게 맞춘 뒤, 두 방법 모두 원래 구조를 잘 복원했으며, 파라미터 ε(가우시안 커널 폭)의 변화에 크게 민감하지 않았다. (2) 클러스터링: fishbowl의 하단을 제거하고 중앙에 구를 삽입해 3‑클러스터 상황을 만든 뒤, diffusion embedding을 수행했다. 여기서는 Nyström이 원본 고유벡터와 거의 동일한 임베딩을 제공해 클러스터 경계가 명확히 유지된 반면, Gaussian projection은 차원 축소 과정에서 군집 간 간격이 크게 감소해 선형 분류기가 실패했다. 파라미터 ε와 m의 선택이 결과에 큰 영향을 미치며, 특히 Gaussian projection은 작은 ε에서 급격히 성능이 저하된다. (3) 분류: MNIST 손글씨 데이터에 diffusion map을 적용하고, 근사 고유벡터를 SVM의 입력 특징으로 사용했다. 이 경우 Gaussian projection이 Nyström보다 약간 높은 정확도를 기록했으며, 이는 고차원에서의 잡음 억제와 orthogonal basis 제공이 도움이 된 것으로 해석된다.

또한, 두 방법의 계산 복잡도 차이도 논의한다. Nyström은 O(n m²)이고, Gaussian projection은 O(n² m)이다. 동일한 실행 시간을 맞추기 위해 m을 조정했으며, 실험에서는 Nyström이 작은 m에서도 충분히 좋은 결과를 보이는 반면, Gaussian projection은 더 큰 m이 필요했다. 파라미터 튜닝의 난이도 역시 차이가 있는데, Nyström은 열 샘플링 전략(균등 vs. 가중치) 선택이 성능에 직접적인 영향을 주는 반면, Gaussian projection은 Ω의 난수성에 크게 의존한다.

결론적으로, 논문은 “하나의 근사법이 모든 상황에 최적이다”는 주장을 부정하고, 작업의 목적(매니폴드 재구성 vs. 클러스터링 vs. 분류), 데이터의 내재적 구조, 그리고 사용 가능한 계산 자원에 따라 적절한 방법을 선택해야 함을 강조한다. 향후 연구 과제로는 두 방법의 하한 이론 개발, 자동 파라미터 선택 알고리즘, 그리고 비선형 커널을 포함한 확장된 스펙트럴 기법에 대한 비교가 제시된다.