HopFormer: hop 기반 희소 그래프 트랜스포머

초록

HopFormer는 그래프 토폴로지를 명시적 위치·구조 인코딩 없이, 헤드별 n‑hop 마스크된 희소 어텐션만으로 주입하는 그래프 트랜스포머이다. 각 어텐션 헤드는 사전에 정의된 hop 수 만큼의 수신 영역을 갖고, 마스크를 적용한 뒤 실제 어텐션 연산을 수행해 계산량을 마스크 희소도에 선형적으로 스케일한다. 노드·엣지 토큰화를 위한 증강 인시던스 그래프와 경량 입력 프로젝터를 사용해 구조적 정보를 별도 모듈 없이 통합한다. 실험 결과, 작은‑월드 특성을 가진 그래프에서는 지역적 n‑hop 어텐션이 전역 어텐션보다 안정적이며, 전역 어텐션의 성능 향상은 제한적임을 보여준다.

상세 분석

HopFormer는 기존 그래프 트랜스포머가 흔히 의존하는 위치·구조 인코딩(예: 최단 경로 거리, 라플라시안 고유벡터, 확산 커널 등)과 복잡한 아키텍처 변형을 완전히 배제한다는 점에서 혁신적이다. 대신, 그래프 토폴로지를 직접적으로 반영하는 n‑hop 마스크를 헤드마다 다르게 설정한다. 이 마스크는 증강 인시던스 그래프 eG의 인접 행렬 eA를 거듭 제곱해 n‑hop 도달 가능 행렬 M(h)를 만든 뒤, 어텐션 스코어 계산 단계에서 해당 비제로 위치만을 대상으로 연산한다. 따라서 “masked dense attention”이 아니라 진정한 “sparse attention”을 구현한다.

핵심 설계는 세 가지 축으로 정리할 수 있다. 첫째, 노드‑엣지 토큰화: 원 그래프 G의 각 엣지를 별도 토큰으로 변환해 eV=V∪E, eE는 인시던스 연결만을 포함한다. 이렇게 하면 노드와 엣지를 동일한 토큰 시퀀스로 처리하면서도 그래프의 희소성을 유지한다. 둘째, 경량 입력 프로젝터: 노드 x_v와 엣지 e_e를 각각 W_n, W_e 로 선형 변환해 동일 차원 d 의 임베딩 h_v, h_e 를 만든다. 이는 멀티모달 트랜스포머에서 쓰이는 방식과 동일해 기존 트랜스포머 레이어를 그대로 사용할 수 있다. 셋째, 헤드‑별 n‑hop 마스크: 각 헤드 h에 정수 n_h 를 할당해 M^{(h)} 를 생성한다. 이때 M^{(h)}_{ij}=1 이면 토큰 j가 토큰 i 로부터 n_h 이내에 도달 가능함을 의미한다. 어텐션은 softmax(QK^T) 에 M^{(h)} 를 원소별 곱해 제한된 쌍에만 스코어를 계산하고, 정규화 역시 마스크된 영역만을 대상으로 수행한다.

이 설계는 복잡도 측면에서 큰 장점을 제공한다. 전통적인 전역 어텐션은 O((N+M)^2) 의 시간·메모리를 요구하지만, HopFormer는 각 헤드마다 nnz(M^{(h)})·d_h 만큼만 연산한다. 그래프가 작은‑월드 특성을 가질 경우 평균 hop 거리 ℓ(G) 가 O(log |V|) 이므로, 작은 n_h 값만으로도 충분히 넓은 정보를 포착할 수 있다. 실험에서는 n_h 를 1~3 정도로 제한했음에도 전역 어텐션과 동등하거나 더 좋은 성능을 기록했다.

또한, 해석 가능성이 크게 향상된다. 각 헤드가 어떤 hop 범위 내에서 정보를 교환하는지 명시적으로 알 수 있어, 모델이 어떤 구조적 스케일을 활용하는지 시각화·분석이 가능하다. 이는 기존 위치 인코딩이 고차원 벡터에 숨겨져 있어 해석이 어려운 점을 보완한다.

한계점으로는 마스크 설계 비용이 있다. n_h 값을 데이터셋별로 튜닝해야 하며, 그래프의 밀도·직경에 따라 최적의 hop 수가 달라질 수 있다. 또한, 현재 구현은 마스크를 사전 계산하고 고정하기 때문에 동적 그래프나 변화하는 토폴로지에 대한 적응성이 제한된다. 향후 연구에서는 학습 가능한 hop 예산이나, 마스크를 동적으로 조정하는 메커니즘을 탐색할 여지가 있다.

전반적으로 HopFormer는 “구조는 마스크, 복잡도는 희소성”이라는 간결한 원칙을 통해 그래프 트랜스포머 설계의 불필요한 복잡성을 크게 감소시키면서도, 작은‑월드 그래프에서 뛰어난 효율성과 성능을 입증한다.