그래프 트랜스포머의 글로벌‑투‑로컬 어텐션 스킴: G2LFormer 실증 연구

초록

본 논문은 기존 그래프 트랜스포머가 전통적으로 전역 어텐션을 깊은 층에 배치해 지역 정보가 희석되는 문제를 지적한다. 이를 해결하고자 얕은 층에 전역 어텐션을, 깊은 층에 GNN 기반 지역 집합을 두는 ‘글로벌‑투‑로컬’ 구조를 제안한다. 전역 층은 SGFormer의 선형 어텐션을, 지역 층은 Cluster‑GCN 또는 GatedGCN을 사용한다. 또한 NOSAF 기반 교차‑층 정보 융합 전략을 도입해 전역 정보가 지역 층에 손실되지 않도록 필터링한다. 실험 결과, 노드‑레벨·그래프‑레벨 모두에서 기존 최첨단 GT·GNN보다 우수한 성능을 보이며, 복잡도는 O(N) 선형을 유지한다.

상세 분석

본 연구는 그래프 트랜스포머(GT)의 설계 패러다임을 근본적으로 재검토한다. 기존의 ‘local‑and‑global’ 혹은 ‘local‑to‑global’ 스킴은 전역 어텐션이 깊은 층에 위치함으로써 장거리 의존성을 강조하지만, 동시에 지역 구조 정보를 충분히 활용하지 못한다는 ‘over‑globalizing’ 문제를 야기한다. 저자들은 이러한 구조적 불균형을 해소하고자 ‘global‑to‑local’ 스킴을 도입한다. 구체적으로, 얕은 층에 SGFormer 기반 선형 어텐션을 배치해 O(N) 시간 복잡도로 전역 컨텍스트를 한 번에 캡처한다. 이후 깊은 층에서는 Cluster‑GCN 또는 GatedGCN을 이용해 지역 이웃 집계와 메시지 패싱을 수행함으로써 과도한 스무딩이나 스쿼싱을 방지한다.

핵심 기술은 교차‑층 정보 융합 전략인 NOSAF(Node‑Specific Layer Aggregation and Filtration)이다. NOSAF는 전역 층의 출력 h_TL을 각 지역 층에 전달하면서, 노드별 중요도 γ_l을 동적으로 학습한다. γ_l은 전역‑지역 정보의 가중치를 재조정하는 시그모이드‑리키렐루‑MLP 파이프라인을 통해 계산되며, 이후 Hadamard 곱을 통해 지역 층 입력에 필터링된다. 이 과정은 정보 손실을 최소화하고, 전역 어텐션이 제공하는 전역적 선행 지식을 지역 집계가 효과적으로 활용하도록 만든다.

복잡도 측면에서, SGFormer의 선형 어텐션은 기존 O(N²) 전역 어텐션을 O(N)으로 감소시키며, 지역 층의 GNN은 이미 선형 혹은 준선형 복잡도를 갖는다(Cluster‑GCN은 파티셔닝 기반). 따라서 전체 모델은 이론적으로 O(N) 복잡도를 유지한다는 점이 큰 장점이다.

실험 설계는 노드 분류(Cora, PubMed 등)와 그래프 분류(ZINC, ogbg‑molhiv 등) 두 축으로 이루어졌다. 비교 대상에는 최신 선형 GT(SGF‑former, Polynormer)와 대표적 GNN(Cluster‑GCN, GatedGCN)뿐 아니라 기존 local‑to‑global 및 local‑and‑global 스킴을 구현한 모델이 포함된다. G2LFormer는 대부분의 벤치마크에서 1~3%p의 절대 성능 향상을 기록했으며, 특히 대규모 그래프에서 메모리 사용량과 추론 속도가 현저히 낮았다.

비판적으로 보면, 본 논문은 전역‑지역 순서를 뒤바꾸는 아이디어 자체는 직관적이지만, 실제 구현에서 전역 층을 단일 레이어로 제한한 점은 복잡한 전역 패턴을 충분히 포착하지 못할 가능성을 남긴다. 또한 NOSAF의 파라미터 수와 연산량이 명시적으로 분석되지 않아, 실제 대규모 실배포 시 메모리 프로파일링이 필요하다. 마지막으로, 실험에 사용된 데이터셋이 주로 중간 규모(수천~수만 노드)이며, 수백만 노드 수준의 초대규모 그래프에 대한 평가가 부족하다. 이러한 점들을 보완한다면, 제안된 글로벌‑투‑로컬 스킴은 차세대 그래프 학습 프레임워크의 핵심 설계 원칙이 될 수 있을 것이다.