UMAP은 퍼지 k최근접 이웃 그래프 위의 스펙트럴 클러스터링이다

초록

본 논문은 UMAP의 최적화 과정을 부정 샘플링을 이용한 대조 학습으로 해석하고, 이를 기존 연구의 대조 학습–스펙트럴 클러스터링 동등성에 연결함으로써 UMAP이 퍼지 k‑최근접 이웃 그래프에 대해 정확히 스펙트럴 클러스터링을 수행한다는 것을 증명한다. 가우시안 커널에서는 완전한 동등성을, 기본 Cauchy 커널에서는 1차 근사 형태를 보이며, 초기화 단계가 정규화 라플라시안의 고유벡터와 동일함을 확인한다.

상세 분석

논문은 UMAP을 네 단계로 분해한다. 첫 번째 단계는 고차원 데이터에 대해 적응형 밴드폭을 이용해 퍼지 k‑최근접 이웃 그래프 V를 구축하고, 대칭화 연산을 통해 확률적 t‑컨놈을 적용해 v_{ij}=v_{j|i}+v_{i|j}-v_{j|i}·v_{i|j} 형태의 가중치를 얻는다. 두 번째 단계는 저차원 임베딩 y_i에 대해 Cauchy 형태(1+a‖y_i−y_j‖²)^{-b} 혹은 가우시안 형태 exp(−‖y_i−y_j‖²/2τ) 를 정의하고, 교차 엔트로피 L(Y)=∑_{i≠j}