교차 주의 기반 응집 서브그래프 임베딩으로 GNN 과잉압축 완화

본 논문은 그래프 신경망(GNN)이 장거리 정보 전달 과정에서 발생하는 과잉압축(oversquashing) 문제를 해결하기 위해, “Cross‑attentive Cohesive Subgraph Embedding”(CaCoSE)이라는 새로운 학습 프레임워크를 제안한다. 과잉압축은 메시지 전달 경로가 제한된 채널을 통해 장거리 정보를 압축하면서 발생하며, 특히 밀집된 응집 서브그래프와 이질적(heterophilic) 영역에서 성능 저하를 일으킨다. CaCoSE는 이러한 현상을 두 단계로 완화한다. 첫 번째 단계는 그래프를 응집 서브그래프 단위로 분해하는 과정이다. 저자들은 k‑core 분해를 기반으로 각 엣지에 “코어 스코어”(C(u,v))를 부여한다. C(u,v)는 해당 엣지가 존재하는 가장 높은 k‑core 값을 의미한다. 또한, 삼각 지원이 없는 엣지는 좁은 연결 고리로 판단해 낮은 k‑core로 재배치한다(정리 1). 이 과정을 통해 밀집된 지역 구조는 보존되고, 노이즈 엣지는 낮은 코어에 이동해 메시지 전달 시 과도한 압축을 방지한다. 결과적으로 그래프는 {S₁,…,S_kmax} 로 구성된 서브그래프 집합 S 로 분할된다. 두 번째 단계에서는 각 서브그래프 S_k 에 대해 독립적인 GCN을 적용해 로컬 노드 임베딩 H_k 를 얻는다. 이후 자기‑주의 기반 그래프 풀링(SAGPool)을 사용해 중요한 노드만을 선택하고, 풀링된 특징을 Z_k 로 압축한다. SAGPool은 GCN 기반의 주의 스코어 Attn_v = σ( D̃⁻¹ᐟ² Ã D̃⁻¹ᐟ² X Θ_att ) 로 계산되며, 풀링 비율 PR 에 따라 상위 k 노드를 선택한다. 이 과정은 노이즈가 많은 이질적 그래프에서도 의미 있는 동질성 정보를 강조한다. 그 다음, 모든 서브그래프 임베딩을 행렬 Z_S =