그래프 과다평활 완화를 위한 범용 적응형 업샘플링 UniGAP

초록

UniGAP은 기존 GNN의 과다평활 문제를 완화하기 위해 그래프에 중간 노드를 적응적으로 삽입하는 범용 업샘플링 프레임워크이다. 노드 특성의 레이어별 궤적을 사전 계산하고, 이를 다중 뷰 압축 인코더로 요약한 뒤, 확률적 샘플링을 통해 삽입 위치를 결정한다. 전체 파이프라인이 미분 가능하므로 다운스트림 노드 분류와 공동 학습이 가능하고, LLM과 결합해 성능을 추가로 향상시킬 수 있다. 실험 결과, 기존 휴리스틱 기반 데이터 증강 방법보다 일관된 성능 향상을 보였다.

상세 분석

UniGAP은 그래프 신경망에서 층이 깊어질수록 노드 임베딩이 동일한 벡터로 수렴하는 과다평활(over‑smoothing) 현상을 근본적으로 완화하려는 시도이다. 핵심 아이디어는 “궤적(trajectory)”이라는 개념을 도입해 각 노드가 여러 레이어를 통과하면서 어떻게 변하는지를 정량화하고, 이 정보를 기반으로 그래프 구조 자체를 동적으로 변형한다는 점이다. 구체적으로는 (1) 입력 그래프에 대해 레이어별 노드 표현을 수집해 궤적 텐서를 만든다. 여기서는 초기 궤적을 얻기 위해 제로 초기화, 비파라미터 메시지 패싱, 사전학습된 GNN 등 세 가지 옵션을 제공한다. (2) 다중 뷰 압축(Multi‑View Condensation, MVC) 인코더가 궤적을 압축해 노드당 고정 차원의 요약 벡터를 생성한다. 논문에서는 두 가지 구현체—Trajectory‑MLP‑Mixer와 Trajectory‑Transformer—를 제시했으며, 각각 hop‑wise 가중치를 학습하거나 토큰화된 hop 정보를 트랜스포머에 입력한다. (3) 압축된 특징을 바탕으로 적응형 업샘플러가 각 기존 엣지에 대해 중간 노드 삽입 확률을 예측한다. 이 확률은 Gumbel‑Softmax와 같은 차별화 가능한 샘플링 기법으로 구현돼 역전파가 가능하다. (4) 삽입된 중간 노드와 새로운 엣지로 구성된 업샘플링된 그래프는 기존 다운스트림 GNN에 그대로 투입된다. 모델 손실이 역전파되면 MVC 인코더와 업샘플러가 동시에 업데이트돼, 과다평활을 최소화하면서 분류 정확도를 최대화하도록 학습된다.

UniGAP의 장점은 첫째, 기존 휴리스틱 기반 업샘플링(AdaEdge, HalfHop 등)이 고정된 규칙에 의존하는 반면, 확률적·학습 기반 접근으로 데이터와 태스크에 맞게 최적화된 그래프 변형을 자동 생성한다는 점이다. 둘째, 전체 파이프라인이 미분 가능하므로 엔드‑투‑엔드 학습이 가능하고, 다른 GNN 아키텍처와 플러그인 형태로 손쉽게 결합할 수 있다. 셋째, 삽입된 중간 노드의 위치와 빈도를 시각화함으로써 과다평활이 주로 발생하는 “병목” 영역을 직관적으로 파악할 수 있다. 이는 그래프 구조 학습에 대한 해석 가능성을 크게 높인다. 마지막으로, LLM과의 연계 실험에서 텍스트 기반 노드 특성을 보강하거나, 프롬프트를 통해 삽입 확률을 조정함으로써 추가적인 성능 향상을 보였다.

실험에서는 Cora, Citeseer, PubMed 등 전통적인 citation 그래프와 ogbn‑arxiv, ogbn‑products 같은 대규모 벤치마크를 사용했다. 다양한 GNN(예: GCN, GraphSAGE, GAT)과 결합했을 때, UniGAP은 평균 3~7%p의 정확도 상승을 기록했으며, 특히 레이어 수가 8 이상으로 늘어날 때 과다평활로 인한 성능 저하를 효과적으로 억제했다. 또한, 기존 데이터 증강 기법과 비교했을 때 메모리·시간 오버헤드가 크게 증가하지 않으면서도 일관된 개선을 보여, 실용적인 적용 가능성을 입증했다.

전반적으로 UniGAP은 그래프 구조 자체를 학습 가능한 파라미터로 취급하고, 노드 궤적이라는 풍부한 정보를 활용해 과다평활을 정량적으로 진단·완화하는 새로운 패러다임을 제시한다. 향후 연구에서는 (1) 더 복잡한 그래프 변형(예: 서브그래프 삽입, 다중 중간 노드)으로 확장, (2) 비지도 학습 환경에서의 자동 궤적 추출, (3) LLM과의 상호작용을 통한 도메인 지식 주입 등 다양한 방향이 기대된다.