멀티모달 그래프 기반 모델을 위한 효과적인 접근 나눠 정복 전략

초록

본 논문은 멀티모달 속성 그래프(MAG)를 처리하기 위한 새로운 그래프 기반 모델인 PLANET을 제안한다. PLANET은 임베딩 수준에서는 Embedding‑wise Domain Gating(EDG)으로 토폴로지‑인식 교차‑모달 컨텍스트를 주입해 모달리티 상호작용을 강화하고, 노드 수준에서는 Node‑wise Discretization Retrieval(NDR)과 Discretized Semantic Representation Space(DSRS)를 이용해 전역적인 모달리티 정렬을 수행한다. 실험 결과, 다양한 그래프‑중심 및 멀티모달 생성 태스크에서 기존 최첨단 모델들을 크게 능가한다.

상세 분석

PLANET은 멀티모달 그래프 파운데이션 모델(MGFM) 설계에서 두 가지 핵심 문제, 즉 ‘모달리티 상호작용’과 ‘모달리티 정렬’에 집중한다. 기존 MGFM들은 단순 집계 방식으로 모달리티를 결합하거나, 서로 다른 인코더의 잠재 공간 차이를 충분히 고려하지 못한다는 한계를 가지고 있었다. PLANET은 이러한 복합성을 ‘분할‑정복(Divide‑and‑Conquer)’ 전략으로 두 단계에 걸쳐 해결한다. 첫 번째 단계인 임베딩 수준에서는 Embedding‑wise Domain Gating(EDG) 모듈이 도입된다. EDG는 각 모달리티별 임베딩을 입력으로 받아, Mixture‑of‑Experts(MoE) 구조와 그래프 트랜스포머 기반 토폴로지‑인식 어텐션을 결합한다. MoE는 서로 다른 전문가 네트워크를 통해 이웃 노드의 다양한 모달리티 간 상호작용 패턴을 동적으로 선택하고, 그래프 트랜스포머는 이 정보를 구조적 관계와 결합해 노드별 교차‑모달 컨텍스트를 생성한다. 이 과정은 기존의 전역 집계와 달리 로컬 수준에서 세밀한 의미 강화(local semantic enrichment)를 가능하게 하며, 특히 텍스트와 이미지가 서로 보완되는 상황에서 효과가 두드러진다. 두 번째 단계인 노드 수준에서는 Node‑wise Discretization Retrieval(NDR) 모듈이 작동한다. NDR은 사전에 학습된 C개의 토큰으로 구성된 Discretized Semantic Representation Space(DSRS)를 정의하고, EDG를 거친 각 모달리티별 노드 임베딩을 가장 가까운 토큰에 매핑한다. 이 이산화 과정은 서로 다른 모달리티가 동일한 토큰에 정렬되도록 강제함으로써, 고차원 연속 공간에서 발생하는 의미 격차를 효과적으로 축소한다. 또한, DSRS 토큰은 전체 그래프에 걸쳐 공유되므로 전역적인 의미 합의를 형성하고, 정렬 손실(CMR, SR, Dec)과 결합된 자기지도 학습 목표를 통해 정렬 품질을 지속적으로 향상시킨다. PLANET은 최종적으로 EDG와 NDR에서 얻은 교차‑모달 임베딩을 단순 연결(concatenation)하여 다중 모달리티를 보존하면서도 정렬된 통합 표현을 만든다. 실험에서는 UniGraph2와 GraphGPT‑O 등 기존 최첨단 MGFM을 넘어, 노드 분류, 링크 예측, 멀티모달 텍스트‑이미지 생성 등 다양한 벤치마크에서 평균 3~7%p 이상의 성능 향상을 기록한다. 특히, 모달리티가 3가지 이상인 복합 데이터셋에서 NDR이 제공하는 전역 정렬 효과가 두드러져, 대규모 멀티모달 그래프에 대한 일반화 능력이 크게 개선된 것을 확인할 수 있다. 전체적으로 PLANET은 모달리티 상호작용을 로컬 레벨에서 정교히 모델링하고, 전역 정렬을 이산 토큰 공간을 통해 강제함으로써, 기존 MGFM이 직면한 두 가지 근본적인 한계를 효과적으로 극복한다.