다중모달 그래프 학습을 위한 노드 분할과 그래프 재배선

초록

본 논문은 다중모달 그래프에서 발생하는 모달리티 혼동을 해소하기 위해, 각 노드를 모달리티별 서브노드로 분할하고 그래프를 재배선하는 NSG‑MoE 프레임워크를 제안한다. 모달리티별 전문가 집합을 활용한 Mixture‑of‑Experts 구조를 결합해 이질적인 메시지 흐름을 효율적으로 처리하며, 스펙트럼 분석과 정보‑이론적 분석을 통해 모델의 적응형 저역통과 필터링 및 일반화 향상을 이론적으로 설명한다. 실험 결과는 세 가지 벤치마크에서 기존 최첨단 방법들을 지속적으로 능가함을 보여준다.

상세 분석

NSG‑MoE는 두 단계의 핵심 설계로 구성된다. 첫 번째 단계인 노드 분할(Node Splitting)에서는 다중모달 그래프 G의 각 노드 v를 모달리티 수 m에 비례하는 서브노드 ⟨v, i⟩(i = 1…m)로 분해한다. 각 서브노드는 해당 모달리티 전용 특징 벡터를 선형 변환(W_i)으로 동일 차원 d에 투사하여, 모달리티 간 차원을 정규화한다. 두 번째 단계인 그래프 재배선(Graph Rewiring)에서는 두 종류의 엣지를 만든다. intra‑node 엣지는 동일 원본 노드에 속한 서로 다른 모달리티 서브노드 간에 완전 연결(m‑클리크)을 형성해, 같은 엔티티 내부에서 모달리티 간 정보 교환을 가능하게 한다. inter‑node 엣지는 원본 그래프의 엣지 (u, v)에 대해 모든 서브노드 쌍을 연결하고, 이를 self‑type(동일 모달리티)과 cross‑type(다른 모달리티)으로 구분한다. 이렇게 구성된 이질 그래프 G*는 전통적인 이질 그래프(HG)와 유사하지만, 노드 타입 자체가 모달리티를 의미한다는 점에서 차별화된다.

그 위에 Graph‑MoE 모듈을 얹어, 각 전문가를 이질 그래프 신경망(HGNN)으로 구현한다. 게이팅 메커니즘은 입력 서브노드의 구조적·내용적 특성에 따라 관계‑aware 전문가 집합에 라우팅한다. 결과적으로, 한 전문가가 특정 모달리티 간 상호작용이나 특정 관계 패턴(예: 텍스트‑이미지 교차, 혹은 동일 모달리티 내 2‑hop 이웃)만을 집중 학습하게 된다. 이는 기존의 FFN‑기반 MoE가 그래프 구조 정보를 활용하지 못하던 한계를 극복한다.

이론적 분석에서는 이질 GNN 연산을 선형 연산 형태로 귀결시켜 라플라시안 스펙트럼 관점에서 해석한다. 노드 분할 구조는 각 모달리티 서브스페이스에 대해 독립적인 저역통과 필터(Low‑Pass Filter)를 적용하게 되며, 필터 강도는 게이팅에 의해 동적으로 조절된다. 따라서 모달리티별 노이즈는 억제하고, 의미 있는 신호는 보존한다는 ‘적응형 필터링’ 효과가 증명된다. 정보‑이론적 관점에서는 모델 파라미터와 데이터 사이의 상호정보량(I(θ;X))이 노드 분할과 전문가 제한으로 감소함을 보이며, 이는 과적합 위험을 낮추고 일반화 경계가 향상된다는 정량적 근거를 제공한다.

실험에서는 텍스트‑이미지 기반 웹페이지 그래프, 의료 영상‑검사 기록 그래프, 그리고 공개된 멀티모달 지식 그래프 등 세 가지 데이터셋에 대해 노드 분류와 링크 예측을 수행하였다. NSG‑MoE는 평균 3.2%~5.8%의 정확도 향상을 기록했으며, MoE 사용에도 불구하고 파라미터 수 대비 학습 시간은 기존 GNN 대비 1.1배 수준으로 효율성을 유지했다. Ablation 실험은 (1) intra‑node 클리크 제거, (2) cross‑type 엣지 제거, (3) MoE 없이 단일 HGNN 사용 시 성능이 크게 떨어짐을 확인해 각 구성 요소의 기여도를 입증한다.

요약하면, 본 연구는 “모달리티를 이질성으로 바라보고, 노드 분할·그래프 재배선을 통해 모달리티 간 혼동을 구조적으로 해소한다”는 새로운 패러다임을 제시한다. 이 접근법은 기존의 조기 융합(early‑fusion) 방식이 갖는 한계를 극복하고, 모달리티 별 특성을 보존하면서도 교차 모달리티 관계를 효과적으로 학습한다는 점에서 다중모달 그래프 분야에 중요한 전진을 이룬다.