베이지안 비선형 주성분 분석 랜덤 필드 기반 차원 축소

초록

본 논문은 베이지안 프레임워크에서 비선형 차원 축소를 수행하기 위해, 잠재 공간의 각 위치마다 서로 다른 선형 변환 행렬을 할당하고 이를 마코프 랜덤 필드(MRF) 사전으로 부드럽게 연결한다. 변환 행렬의 방향은 von Mises‑Fisher 분포를 이용해 효율적으로 샘플링한다. 실험을 통해 제안 모델이 기존 선형 PCA와 다른 비선형 방법들에 비해 재구성 오차와 클러스터링 정확도에서 우수함을 보인다.

상세 분석

이 연구는 확률적 주성분 분석(PPCA)의 베이지안 해석을 출발점으로 삼아, 비선형 구조를 모델링하기 위한 새로운 접근법을 제시한다. 핵심 아이디어는 잠재 변수 z∈ℝ^d에 대해 각 점마다 고유한 변환 행렬 W(z)∈ℝ^{D×d}를 정의하고, 인접한 z값들 사이에 W(z)의 변화를 부드럽게 제한하는 마코프 랜덤 필드(MRF) 사전을 부여하는 것이다. MRF는 일반적인 가우시안 사전 대신, 행렬의 각 열을 단위벡터로 정규화한 후 von Mises‑Fisher(vMF) 분포를 이용해 방향성을 모델링한다. vMF는 구면 위의 확률밀도함수로, 샘플링이 효율적이며 고차원에서도 수치적으로 안정적이다. 논문은 최근 제안된 “rejection‑free” vMF 샘플러를 활용해 Gibbs 샘플링 단계에서 W(z)의 조건부 사후분포를 정확히 추출한다.

베이지안 프레임워크를 채택함으로써 모델은 자동으로 차원(d)과 하이퍼파라미터(예: MRF의 스무딩 파라미터 β)의 사후분포를 추정한다. 이는 전통적인 비선형 차원 축소 기법이 사전 파라미터 설정에 민감한 점을 보완한다. 또한, MRF 사전은 공간적 연속성을 강제해 과도한 자유도를 억제하고, 데이터가 희소하거나 노이즈가 많은 경우에도 안정적인 추정이 가능하도록 만든다.

계산 복잡도 측면에서, 각 Gibbs 반복은 (i) vMF 샘플링을 통한 W(z) 업데이트, (ii) 잠재 변수 z의 정규조건부 업데이트, (iii) 관측 노이즈 σ²의 감마 사후 업데이트로 구성된다. 특히, vMF 샘플링은 O(D) 연산으로 구현 가능해 고차원 관측 공간에서도 실용성을 확보한다. 실험에서는 합성 스위스롤 데이터와 실제 얼굴 이미지 데이터에 대해 기존 커널 PCA, t‑SNE, 오토인코더와 비교했으며, 재구성 오차와 클러스터링 정확도에서 일관된 우위를 보였다.

한계점으로는 MRF 사전의 인접 정의가 사전에 지정된 격자 혹은 k‑최근접 이웃에 의존한다는 점이며, 복잡한 토폴로지를 가진 데이터에서는 적절한 인접 구조 설계가 필요하다. 또한, Gibbs 샘플링은 수렴 속도가 느릴 수 있어 대규모 데이터셋에 적용하려면 변분 추정이나 스토캐스틱 그라디언트 MCMC와 같은 확장 방법이 요구된다.