다중 도메인 그래프 기반 모델을 위한 리만 매니폴드 결합

초록

본 논문은 서로 다른 그래프 도메인들을 하나의 매끄러운 리만 매니폴드로 통합하는 이론적 프레임워크인 “신경 매니폴드 글루잉(Neural Manifold Gluing)”을 제안한다. 적응형 직교 프레임을 이용해 각 도메인의 로컬 기하를 추정하고, 엣지와 삼각형을 통한 메트릭 호환 및 홀로노미 개념으로 전역 매니폴드를 구성한다. 이를 기반으로 배치형 사전학습과 EMA 프로토타이핑을 지원하는 GraphGlue 시스템을 설계하고, 기하학적 전이 메트릭(GTM)으로 도메인 간 전이 난이도를 정량화한다. 실험에서 다양한 그래프 벤치마크에 대해 기존 방법보다 우수한 전이 성능을 보였으며, 데이터셋 수가 늘어날수록 매니폴드가 더 매끄러워지는 “기하학적 스케일링 법칙”을 확인하였다.

상세 분석

본 연구는 그래프 기반 기초 모델(Graph Foundation Model) 구축에 있어 가장 근본적인 질문, 즉 “다중 도메인 지식이 어떻게 통합·전이되는가”에 대한 이론적 해답을 제시한다. 기존의 다중 도메인 그래프 사전학습 방법들은 텍스트 기반 라벨링, 코드북, 모티프 등으로 공유 표현을 학습했지만, 도메인 간 지식 흐름을 정량적으로 설명하거나 전이 난이도를 측정하는 체계를 제공하지 못했다. 논문은 이를 극복하기 위해 리만 기하학을 도입한다. 핵심 아이디어는 각 그래프 데이터셋을 고유한 로컬 리만 매니폴드(점 p와 그 접공간 TpM)로 모델링하고, 적응형 직교 프레임(AOF)을 통해 접공간의 기저를 학습한다. 여기서 (k, M)‑희소 교란(sparse perturbation) 기법은 그래프에 가상의 노드를 삽입하고, 주의(attention) 기반 가중치를 부여해 중요한 방향성을 추출함으로써 접공간 벡터를 생성한다. QR 분해와 길이 복구 과정을 거쳐 얻은 직교 기저는 각 도메인의 메트릭 텐서 Gi를 WiᵀWi 형태로 표현하게 하며, 이는 곧 로컬 거리와 내적을 정의한다.

다음 단계는 이러한 로컬 매니폴드들을 “글루잉”하는 과정이다. 논문은 두 가지 수학적 조건을 제시한다. 첫째, 엣지 접합(edge tangent translation) 정의에 따라 인접 노드 i와 j 사이의 접공간 변환 P(i,j)를 G_j^{-1/2} G_i^{1/2} G_j^{-1/2} 형태의 최적 이소메트리로 설정한다. 이는 메트릭 호환성을 보장하고, 전체 그래프에 걸쳐 연속적인 전역 메트릭 G가 존재함을 정리 4.6으로 증명한다. 둘째, 삼각형·사이클 등 고차 구조에서 발생할 수 있는 위상적 오프셋을 제거하기 위해 홀로노미 맵을 도입한다. 삼각형 홀로노미가 트리비얼(즉, 순환 변환이 항등)일 때만 전역 매니폴드가 매끄럽게 연결되며, 이를 최소화하는 홀로노미 손실을 최적화 목표에 포함시킨다. 마지막으로, 리치 곡률(Ricci curvature)을 제어해 매니폴드 전체의 부피 변화율을 조절함으로써 “스무딩”을 수행한다. 이 일련의 과정은 기존의 단순 메트릭 평균이나 임베딩 정렬 방식보다 훨씬 엄밀한 수학적 근거를 제공한다.

이론을 실용적인 시스템에 적용한 것이 GraphGlue이다. 사전학습 단계에서는 EMA(Exponential Moving Average) 프로토타입을 이용해 각 도메인의 대표 임베딩을 지속적으로 업데이트하고, 이를 로컬 매니폴드에 매핑한다. 배치 처리와 대규모 그래프에 대한 효율성을 위해 각 배치마다 독립적인 로컬 프레임을 학습한 뒤, 위에서 정의한 엣지·홀로노미 변환을 통해 전역 매니폴드에 결합한다. 전이 단계에서는 학습 가능한 프롬프트와 리만 혼합 전문가(Riemannian Mixture-of-Experts)를 도입해 목표 도메인을 기존 매니폴드에 부드럽게 삽입한다. 전이 난이도는 정의된 기하학적 전이 메트릭(GTM)으로 정량화되며, 이는 두 도메인의 메트릭 차이와 홀로노미 손실을 종합한 값이다. 실험 결과, GTM이 높은 도메인 쌍일수록 전이 성능이 저하되는 경향을 보였으며, 이는 기존의 경험적 전이 난이도 지표보다 더 신뢰할 수 있는 지표임을 입증한다.

스케일링 법칙에 대한 실증도 흥미롭다. 데이터셋 수(K)를 증가시킬수록 로컬 매니폴드 간의 경계가 더 많이 겹치고, 전체 매니폴드의 리치 곡률이 낮아져 부드러워진다. 이는 “더 많은 도메인이 모일수록 전이 가능성이 높아진다”는 가설을 수학적으로 뒷받침한다. 또한, 실험에서는 ogbn‑arxiv, Reddit, FB15k‑237, PROTEINS, HIV 등 서로 다른 구조와 특성을 가진 그래프들을 사용해 전이 성능을 평가했으며, GraphGlue가 기존 멀티도메인 사전학습 모델(예: GraphCodeBERT, MotifGNN 등) 대비 평균 3~5% 이상의 정확도 향상을 달성했다.

전체적으로 이 논문은 그래프 학습에 리만 기하학을 도입함으로써 “지식 통합”을 정량적·정성적으로 분석할 수 있는 새로운 패러다임을 제시한다. 이론적 엄밀함과 실험적 검증이 잘 조화되어 있어, 향후 그래프 기반 기초 모델의 설계·평가에 중요한 기준이 될 것으로 기대한다.