다양한 매니폴드 위의 무작위 특징 생성

초록

본 논문은 매니폴드 위에서 정의되는 커널이나 기타 이변량 함수를 근사하기 위한 새로운 무작위 특징 기법인 Manifold Random Features(MRF)를 제안한다. MRF는 매니폴드를 이산 그래프로 샘플링한 뒤 최근 제안된 Graph Random Features(GRF)를 이용해 연속적인 필드(함수)를 학습하고, 이를 통해 양의 값과 유한한 범위의 특징을 얻는다. 이 방법은 그래프 라플라시안 기반의 확산·열 커널과의 깊은 연결성을 보이며, 선형 어텐션 트랜스포머의 효율성을 높이는 Gaussian 커널 근사에도 적용 가능함을 실험적으로 입증한다.

상세 분석

Manifold Random Features(MRF)는 기존의 Random Features(RF) 패러다임을 매니폴드라는 비유클리드 공간으로 확장한다는 점에서 혁신적이다. 전통적인 RF는 ℝⁿ에서 정의된 커널을 Fourier 변환이나 고유함수 전개를 통해 확률적 샘플링으로 근사한다. 그러나 매니폴드에서는 라플라시안의 고유함수가 복잡하고, 닫힌 형태의 전개가 존재하지 않아 직접적인 적용이 어려웠다. 논문은 이 문제를 두 단계로 해결한다. 첫 번째는 매니폴드 M을 고해상도 포인트 클라우드 V_N으로 이산화하고, 각 점을 정점으로 하는 가중 그래프 G_N을 구성한다. 여기서 가중치는 거리 기반 RBF 형태(exp(−‖x_i−x_j‖²/σ²))로 정의되어 로컬 기하를 보존한다. 두 번째는 Graph Random Features(GRF) 알고리즘을 이용해 각 정점 i에 대해 서명 벡터 ϕ_f(i)∈ℝ^N을 생성한다. GRF는 무작위 워크를 수행하면서 현재 노드의 로드(load)를 누적하고, 모듈레이션 함수 f(·)에 의해 스케일링한다. 이 과정은 그래프 커널 K^α(W)=∑_{k=0}^∞ α_k W^k의 기대값을 K₁K₂ᵀ 형태로 분해하는 확률적 증명과 일치한다. 즉, GRF는 그래프 라플라시안 기반 확산/열 커널을 무편향(unbiased)하게 근사하는 저차원 임베딩을 제공한다.

MRF는 GRF에서 얻은 서명 벡터를 연속적인 함수 g_{M,F,θ}(x,ω)로 학습한다. 학습 데이터는 (x,ω,ϕ_f(x)