다중모달 그래프 학습을 위한 클리포드 신경 패러다임 LION

초록

LION은 클리포드 대수를 기반으로 한 고차원 기하학적 매니폴드 위에서 그래프 전파와 집계를 분리해 수행한다. 기하학적 전파(CG​P)는 토폴로지를 회전 연산으로 해석해 모달리티 간 정렬을 강화하고, 적응형 홀로그래픽 집계(AHA)는 정렬된 토큰의 기하학적 등급(grade) 에너지와 스케일을 학습 가능한 파라미터로 가중합한다. 9개 데이터셋의 3가지 그래프 작업과 3가지 모달리티 작업에서 기존 최첨단 방법들을 크게 앞선다.

상세 분석

본 논문은 멀티모달 속성을 가진 그래프(MAG)의 두 핵심 과제인 ‘모달리티 정렬’과 ‘모달리티 융합’에 대한 근본적인 한계를 지적하고, 이를 해결하기 위해 클리포드 대수(Clifford algebra)를 활용한 새로운 수학적 프레임워크를 제시한다. 먼저, 각 노드를 클리포드 대수의 로컬 탄젠트 공간에 매핑함으로써, 노드 특성 벡터를 2K 차원의 기하학적 다중벡터로 확장한다. 여기서 K는 모달리티 수이며, 각 모달리티는 서로 직교하는 Grade‑1 기저벡터(e_k) 로 표현된다. 이 구조는 Grade‑0(스칼라)와 Grade‑2(바이벡터) 등급을 통해 동일 모달리티 내·외부 상호작용을 명시적으로 구분한다.

정렬 단계인 Clifford Geometric Propagation(CG​P)은 그래프의 토폴로지를 ‘공간 회전자(R)’와 ‘기하학적 포텐셜(Φ)’으로 모델링한다. R은 두 노드 사이의 기하학적 외적(바이벡터) 크기에 기반한 회전 연산으로, 모달리티 간의 차이를 회전시켜 정렬한다. Φ는 스칼라 항과 바이벡터 항을 결합한 지수 감쇠 커널로, 노드 쌍의 내적 크기에 따라 가중치를 부여한다. 이 두 연산은 파라미터가 없는 ‘훈련‑프리’ 전파를 가능하게 하며, 고차원 그래프 스무딩을 일반적인 동질성 가정에서 탈피해 모달리티‑특화된 곡률 정보를 보존한다. 이론적으로는 Lipschitz 연속성을 이용한 안정성 경계(Theorem 3.1)와 클리포드 디리클레 에너지 최소화(Theorem 3.2)를 증명해, 작은 입력 변동에도 매니폴드 상의 표현이 안정적으로 유지됨을 보인다.

융합 단계인 Adaptive Holographic Aggregation(AHA)은 CG​P를 통해 얻어진 정렬 토큰들의 기하학적 등급 속성을 활용한다. 각 등급별 에너지(내적 크기)와 스케일(벡터 크기)을 학습 가능한 스칼라 파라미터와 곱해 동적 필터링을 수행함으로써, 중요한 토폴로지·모달리티 정보를 강조하고 불필요한 잡음을 억제한다. 이는 기존의 단순 concat이나 고정된 어텐션 메커니즘과 달리, 등급별 특성을 정량화해 가중합함으로써 다중모달 융합의 표현력을 크게 확장한다.

실험에서는 9개의 서로 다른 도메인(텍스트, 이미지, 비디오 등)에서 3가지 그래프 작업(노드 분류, 링크 예측, 클러스터링)과 3가지 모달리티 작업(모달리티 검색, 텍스트 생성, 이미지 생성)을 수행하였다. LION은 평균 5.24%·7.68%의 성능 향상을 기록했으며, 특히 고차원 모달리티 간 상호작용이 중요한 멀티모달 검색 및 생성 태스크에서 현저한 이득을 보였다. 또한, CG​P를 기존 정렬 모듈에 플러그‑인했을 때도 일관된 성능 개선을 확인함으로써, 제안 방법의 모듈성 및 일반성을 입증하였다.

요약하면, LION은 클리포드 대수를 통해 그래프 토폴로지와 다중모달 특성을 하나의 연속적인 기하학적 공간에 통합하고, 파라미터‑프리 전파와 등급‑기반 적응형 집계를 결합함으로써, 기존 방법이 놓친 장거리 의존성 및 모달리티 간 정교한 상호작용을 효과적으로 포착한다. 이는 멀티모달 그래프 학습 분야에서 새로운 이론적·실용적 패러다임을 제시한다.