양방향 리프시츠 그래프 신경망

초록

FSW‑GNN은 기존 WL‑동등 메시지 패싱 신경망이 갖는 낮은 구분력과 오버스무딩·오버스쿼싱 문제를 해결하기 위해, 두 개의 WL‑동등 그래프 거리(이중 확률적(Doubly‑Stochastic) 거리와 트리 무버스 거리)와 bi‑Lipschitz 성질을 동시에 만족하도록 설계된 새로운 MPNN이다. Fourier‑Sliced‑Wasserstein 임베딩을 메시지 집계에 도입해 이론적 bi‑Lipschitz 보장을 제공하고, 실험적으로 장거리 의존성을 요구하는 태스크에서 기존 모델을 크게 앞선다.

상세 분석

본 논문은 메시지 패싱 신경망(MPNN)의 표현력 한계가 Weisfeiler‑Leman(WL) 테스트와 동등함을 재확인한 뒤, 실제 구분력이 낮은 현상을 “lower‑Lipschitz 부족”으로 규정한다. 기존 WL‑동등 MPNN은 입력 그래프 간 거리를 충분히 보존하지 못해, WL‑분리 가능한 그래프 쌍이라도 임베딩 공간에서 거의 동일한 벡터로 매핑되는 사례가 보고되었다. 이러한 현상은 특히 깊은 레이어를 사용할 때 발생하는 오버스무딩(노드 특징이 동일해지는 현상)과 오버스쿼싱(멀리 떨어진 노드 간 정보 전달이 약해지는 현상)으로 이어진다.

논문은 두 가지 WL‑동등 그래프 거리, 즉 Doubly‑Stochastic(DS) 거리와 Tree Mover’s Distance(TMD)를 정의하고, 이들 거리 위에서 bi‑Lipschitz 임베딩을 달성하는 것이 오버스무딩·오버스쿼싱을 근본적으로 완화할 수 있음을 제시한다. DS 거리는 이중 확률 행렬을 이용해 그래프의 인접 행렬과 노드 특징을 동시에 정렬하는 최적화 문제로 정의되며, TMD는 WL 절차에서 생성되는 계산 트리를 기반으로 최적 수송 거리를 측정한다. 두 거리 모두 WL‑동등성을 정확히 반영하는 메트릭임이 증명된다.

핵심 설계는 메시지 집계 단계에서 Fourier‑Sliced‑Wasserstein(FSW) 임베딩을 도입한 점이다. FSW는 다중집합을 여러 방향(v_k)으로 투영하고, 각 투영에 대해 정렬된 스칼라값을 주파수(ξ_k)와 결합해 고차원 벡터로 변환한다. 기존 연구에서 FSW 자체가 다중집합에 대해 bi‑Lipschitz임이 증명되었으며, 이를 그래프의 이웃 집합에 적용하면 전체 MPNN이 입력 그래프 거리와 출력 임베딩 거리 사이에 상하한 상수를 유지한다. 즉, ∀G₁,G₂, c·ρ(G₁,G₂) ≤ ‖E(G₁)−E(G₂)‖₂ ≤ C·ρ(G₁,G₂) 를 만족한다.

이론적 결과는 두 부분으로 나뉜다. 첫째, DS 거리와 TMD 거리 모두에 대해 FSW‑GNN이 bi‑Lipschitz임을 정리 3.1과 정리 5.2를 통해 증명한다. 여기서는 DS 거리의 확장(노드 수가 다른 그래프와 특징 차이를 포함)과 TMD 거리의 트리 구조 보존을 모두 고려한다. 둘째, 기존 Sort‑MPNN이 패딩 기반 집합 정렬을 사용해 제한적인 적용 범위(고정된 최대 이웃 크기, 정수 가중치)만을 가졌던 반면, FSW‑GNN은 이웃을 확률 분포로 취급해 가변 크기와 실수 가중치를 자연스럽게 처리한다.

실험에서는 Cora, Pubmed, Citeseer 등 전통적인 노드 분류 벤치마크와 더불어, 반경이 큰 그래프(예: Long‑Range Graph Benchmark)에서의 성능을 평가한다. 표 1과 그림 1에서 확인할 수 있듯이, FSW‑GNN은 정확도 면에서 기존 GIN, GCN, GA‑T 등과 동등하거나 약간 우수하며, 특히 반경이 10 이상인 태스크에서는 오버스무딩에 취약한 기존 모델을 크게 앞선다. 이는 메시지 전달 단계에서 거리 보존이 유지되어 멀리 떨어진 노드 간 정보가 손실되지 않기 때문이다. 또한, 코드 공개를 통해 재현성을 확보하고, 다양한 그래프 구조와 크기에 대한 확장성을 입증한다.

결론적으로, 본 연구는 “bi‑Lipschitz MPNN”이라는 새로운 설계 패러다임을 제시한다. WL‑동등성을 유지하면서도 입력 그래프 거리와 출력 임베딩 거리 사이에 엄격한 비율을 보장함으로써, 깊은 메시지 전달이 필수적인 장거리 그래프 학습에서 발생하는 기존의 근본적 한계를 극복한다. 향후 연구는 다른 WL‑동등 메트릭(예: WL‑metric 자체)과의 연계, 그리고 FSW‑GNN을 이용한 그래프 생성·변형 모델에 대한 탐색을 제안한다.