멀티모달 그래프 구조와 의미 정렬을 위한 최적 운송

초록

멀티모달 속성 그래프(MAG)에서 텍스트·이미지 등 서로 다른 모달리티 간 의미 구조가 그래프 구조와 불일치하는 문제를 해결하기 위해, 저자는 비균형 최적 운송 기반의 정규화 프레임워크 OptiMAG을 제안한다. FGW 거리와 KL 패널티를 결합해 각 모달리티의 내재적 의미 토폴로지를 그래프 토폴로지와 정렬하고, 불일치가 큰 엣지는 자동으로 억제한다. 이 정규화는 기존 GNN 파이프라인에 플러그인 형태로 삽입 가능하며, 노드 분류·링크 예측부터 그래프‑텍스트·이미지 생성까지 다양한 태스크에서 일관된 성능 향상을 보인다.

상세 분석

OptiMAG은 멀티모달 속성 그래프에서 발생하는 구조‑의미 불일치를 정량화하고 완화하는 새로운 접근법이다. 먼저, 각 모달리티(텍스트, 이미지)의 임베딩을 코사인 거리 기반의 비용 행렬 C_T, C_I 로 변환하고, 그래프 구조는 Personalized PageRank 기반 확산 행렬을 로그 변환해 거리 행렬 C_G 로 만든다. 이렇게 정의된 세 개의 메트릭 측정 공간은 모두 평균 정규화를 거쳐 스케일을 맞춘다. 핵심은 비균형 Fused Gromov‑Wasserstein (UFGW) 거리이다. UFGW는 (1) 대각선에 작은 비용 τ 를 부여한 앵커 행렬 M 으로 노드 정체성을 유지하고, (2) GW 형태의 2차 항으로 모달리티 간 상대적 거리와 그래프 내 관계 거리의 차이를 제곱 손실 L 로 penalize한다. 여기서 비균형성은 KL 발산을 이용한 마진 완화 항으로 구현되며, 이는 각 노드가 전송량을 완전히 사용해야 하는 강제 제약을 완화한다. KL 패널티 파라미터 ρ 가 클수록 전송량이 원본 마진에 가까워지고, ρ 가 작을수록 비용이 큰 노드는 전송량을 스스로 감소시켜 “노이즈 억제” 효과를 만든다. 엔트로피 정규화 ϵH(π) 를 추가해 Sinkhorn 알고리즘으로 효율적인 최적화가 가능하도록 설계했다.

학습 단계에서는 기존 GNN 손실 L_task 와 UFGW 정규화 손실 L_reg 를 가중합해 전체 손실을 구성한다. 이때 L_reg 은 백프로파게이션을 통해 임베딩 인코더를 직접 조정하므로, 모달리티 별 의미 공간이 그래프 구조와 점진적으로 정렬된다. 또한, 배치 단위로 서브그래프를 샘플링하고 PPR 행렬을 사전 계산함으로써 O(N³) 복잡도를 O(B³) 수준으로 낮추어 대규모 그래프에도 적용 가능하게 만든다.

실험에서는 6개의 멀티모달 그래프 벤치마크에 대해 UniGraph2, GAT, GraphSAGE 등 다양한 백본 모델에 OptiMAG을 적용했으며, 노드 분류 정확도가 최대 4.6% 상승하고, 그래프‑텍스트 생성에서는 CIDEr 점수가 4점 이상 향상되는 등 전반적인 성능 향상을 입증했다. 특히, 사전 학습된 대형 인코더의 경우 구조‑의미 정렬 효과가 더 두드러졌으며, 이는 OptiMAG이 기존 모델의 표현력을 보완하는 역할을 함을 시사한다.

요약하면, OptiMAG은 (i) 모달리티 별 의미 토폴로지를 그래프 토폴로지와 정렬, (ii) 유연한 마진 완화와 노이즈 억제로 유해 엣지를 자동 필터링, (iii) 플러그인 형태의 경량 정규화로 기존 파이프라인에 무리 없이 통합 가능하다는 세 가지 핵심 장점을 제공한다. 이는 멀티모달 그래프 학습에서 구조‑의미 불일치가 주요 병목인 상황에 대한 실용적이고 이론적으로도 탄탄한 해결책이라 할 수 있다.