HodgeFormer: 삼각 메쉬를 위한 학습형 Hodge 행렬 기반 트랜스포머

초록

본 논문은 이산 외부 미분학(DEC)의 Hodge Laplacian을 트랜스포머의 다중 헤드 어텐션에 매핑하여, 메쉬 정점·에지·면에 대한 학습 가능한 Hodge Star 행렬을 직접 추정한다. 이를 통해 전통적인 라플라시안 고유값 분해 없이도 메쉬 분할·분류 작업에서 경쟁력 있는 성능을 달성한다.

상세 분석

HodgeFormer는 기존 그래프·메쉬 트랜스포머가 위치 인코딩을 위해 라플라시안 고유벡터나 Heat‑Kernel Signature와 같은 스펙트럴 특징을 사전 계산해야 하는 문제점을 해결한다. 저자는 이산 외부 미분학(DEC)에서 정의되는 Hodge Laplacian (L = \star_0^{-1} d_0^{\top} \star_1 d_0)을 트랜스포머의 어텐션 연산과 동일시한다. 구체적으로, 어텐션의 Q·Kᵀ 연산은 기저 함수 간 겹침을 나타내는 Galerkin 방법의 질량 행렬(즉, Hodge Star)과 유사하며, softmax는 (\star_k)의 정규화 역할을 수행한다. 논문은 기존 HodgeNet이 대각 행렬 형태의 (\star)만 학습한 것에 반해, 다중 헤드 어텐션을 이용해 희소하고 비대각적인 Hodge Star 행렬을 학습함으로써 인접 요소 간 상호작용을 포착한다.

아키텍처는 정점(0‑form), 에지(1‑form), 면(2‑form) 각각에 대해 별도의 임베딩 레이어와 Hodge 어텐션 레이어를 배치한다. 각 레이어는
( \star_k(x_k) = \sigma(Q_k K_k^{\top} / \sqrt{d_h}) )
를 통해 데이터‑드리븐 Hodge Star를 추정하고, 이를 이용해
(L_v = \star_0^{-1} d_0^{\top} \star_1 d_0),
(L_e = d_0 \star_0^{-1} d_0^{\top} \star_1 + \star_1^{-1} d_1^{\top} \star_2 d_1),
(L_f = d_1 \star_1^{-1} d_1^{\top} \star_2)
와 같은 형태의 Hodge Laplacian을 구성한다. 이렇게 얻어진 라플라시안은 어텐션 가중치와 곱해져 각 k‑form에 대한 메시지를 전파한다.

계산 복잡도 측면에서, 고유값 분해가 O(n³)인 전통적인 스펙트럴 방법과 달리, HodgeFormer는 행렬 곱과 softmax 연산만으로 O(n²·h) (h는 헤드 수) 수준의 비용을 유지한다. 또한, 메쉬의 토폴로지를 나타내는 Incidence 행렬 (d_0, d_1)만 사전 계산하면 되므로 전처리 비용이 크게 감소한다.

실험에서는 ShapeNet 및 ModelNet40 등에서 메쉬 세그멘테이션 및 분류 정확도를 보고했으며, 비슷한 정확도를 유지하면서 학습·추론 시간과 메모리 사용량이 기존 라플라시안 기반 트랜스포머보다 현저히 낮았다. 한계점으로는 Hodge Star를 완전하게 자유롭게 학습하기 위해서는 충분한 데이터와 적절한 정규화가 필요하며, 현재 구현은 삼각 메쉬에 특화돼 있어 다면체나 비정형 셀룰러 구조에 대한 확장은 추가 연구가 요구된다.