기하학적 학습을 위한 GeometricKernels 패키지 히트와 마테른 커널

초록

GeometricKernels는 그래프·메시·리만 다양체 등 비유클리드 공간에서 열 커널과 마테른 커널을 구현한 파이썬 라이브러리이다. 백엔드‑독립적인 설계로 PyTorch, JAX, TensorFlow, NumPy를 모두 지원하며 자동 미분과 GPU 가속을 제공한다. 또한 유한 차원 근사 특징맵과 다양한 공간의 곱공간 커널을 손쉽게 구성할 수 있다.

상세 분석

본 논문은 비유클리드 구조 데이터에 대한 확률적 학습을 가능하게 하는 핵심 도구, 즉 양의 정부호성을 보장하는 커널을 어떻게 구현하고 효율적으로 이용할 수 있는지를 체계적으로 제시한다. 첫 번째 핵심은 열(Heat) 커널과 마테른(Matern) 커널을 리만 다양체와 그래프의 라플라시안 스펙트럼을 통해 정의한다는 점이다. 이는 기존 유클리드 공간에서 거리 기반 제곱 지수 커널이 양의 정부호성을 갖는 것과 달리, 비유클리드 공간에서는 직접적인 거리 함수가 PSD를 보장하지 않으므로 스펙트럼 해석이 필수적이다. 논문은 구체적으로 컴팩트 군면(Sⁿ, SO(n), SU(n))과 비컴팩트 공간(Hⁿ, SPD(n))을 포함한 다양한 클래스를 제공하고, 각 공간에 대한 라플라시안 고유값·고유함수를 사전 계산하거나 수치적으로 근사한다.

두 번째로, 백엔드‑독립성을 위해 LAB 라이브러리를 활용한 다중 디스패치를 도입하였다. 사용자는 import geometric_kernels.torch 혹은 import geometric_kernels.jax 등으로 원하는 프레임워크를 선택하면, 동일한 API와 동일한 수식 표현을 유지하면서 자동 미분과 GPU 연산을 즉시 활용할 수 있다. 이는 기존에 각각의 프레임워크마다 별도 구현이 필요했던 문제를 크게 완화한다.

세 번째 기여는 근사 유한 차원 특징맵(feature map) 제공이다. 열·마테른 커널에 대해 랜덤 푸리에 특징맵(RFF)과 같은 스펙트럼 근사를 구현함으로써, O(N³) 복잡도의 커널 행렬 연산을 O(Nℓ) 수준으로 축소한다. 특히, default_feature_map 함수를 통해 공간별 최적화된 특징맵을 자동 선택하도록 설계했으며, 이를 이용한 가우시안 프로세스 샘플링이 간단히 구현된다.

또한, 곱공간(ProductDiscreteSpectrumSpace)과 곱커널(ProductGeometricKernel) 개념을 도입해 서로 다른 공간에 대한 커널을 독립적인 하이퍼파라미터와 함께 결합할 수 있다. 이는 복합 구조 데이터(예: 메쉬 위에 그래프가 얹힌 경우)에서 각 구성요소의 스케일을 별도로 조정하면서도 전체 커널이 여전히 PSD를 유지하도록 한다.

마지막으로, GPyTorch, GPJax, GPflow와 같은 기존 가우시안 프로세스 프레임워크와의 인터페이스를 제공함으로써, 사용자는 GeometricKernels의 커널을 그대로 가져와 기존 모델링 파이프라인에 삽입할 수 있다. 이는 연구자와 실무자가 새로운 기하학적 커널을 시험하고 배포하는 장벽을 크게 낮춘다. 전체적으로 이 패키지는 이론적 엄밀성(스펙트럼 정의, PSD 보장)과 실용적 효율성(다중 백엔드, 자동 미분, GPU 가속, 특징맵) 사이의 격차를 메우는 중요한 도구라 할 수 있다.