그래프를 위한 파동 회전 위치 인코딩

초록

본 논문은 그래프 라플라시안 스펙트럼을 이용해 토큰을 회전시키는 새로운 위치 인코딩 기법인 WIRE(Wave‑Induced Rotary Encodings)를 제안한다. WIRE는 기존 RoPE를 일반화하여 격자 그래프에서는 기존 RoPE와 동일한 동작을 보이며, 효과 저항(effective resistance)과 연관된 이론적 특성을 갖는다. 실험 결과, 합성 및 실제 그래프 벤치마크에서 성능 향상을 입증하고, 선형 어텐션과도 호환됨을 확인한다.

상세 분석

WIRE는 그래프 구조 정보를 어텐션에 직접 주입하기 위해 라플라시안의 저차원 고유벡터를 위치 좌표로 활용한다. 구체적으로, 그래프 라플라시안 L의 가장 작은 k개의 고유값 λ₁…λ_k와 대응 고유벡터 u₁…u_k를 계산한 뒤, 각 노드 i에 대해 (u₁(i),…,u_k(i))를 2차원 블록으로 묶어 RoPE와 동일한 회전 연산을 적용한다. 이때 회전 각도는 사전에 정의된 주파수 ω₁…ω_k와 고유벡터 값의 곱으로 결정되며, ω는 학습 가능하거나 고정된 지수 감쇠 형태를 취한다.

핵심 이론적 기여는 세 가지이다. 첫째, WIRE는 그래프의 스펙트럼을 직접 이용함으로써 노드 순열에 대해 equivariant(순열에 따라 변환이 동일)함을 보장한다. 이는 라플라시안이 순열에 불변이기 때문에 고유벡터와 고유값도 동일하게 변환되며, 부호 뒤집기와 중복 고유공간 내 회전에 대한 불확실성만 남는다. 이러한 불확실성은 SignNet 등 기존 기법으로 정규화하거나 학습 과정에서 데이터 증강처럼 자동으로 보정될 수 있다.

둘째, 격자 그래프(1‑D 경로, 2‑D 격자, 3‑D 격자 등)에서는 라플라시안 고유벡터가 사인·코사인 형태의 정규화된 좌표와 일대일 대응한다. 따라서 WIRE는 기존 텍스트와 이미지에 사용되는 RoPE와 완전히 동일한 회전 연산을 수행한다는 정리를 제시한다(정리 2). 이는 WIRE가 기존 RoPE의 장점을 그대로 유지하면서 그래프에 일반화될 수 있음을 의미한다.

셋째, 고주파 고유벡터를 포함시킬 경우 회전 각도가 효과 저항(effective resistance)과 직접 연관된다. 고주파 성분은 인접 노드 간 큰 차이를 만들고, 이는 전기 회로에서 두 노드 사이의 저항과 유사하게 작용한다. 논문은 대규모 그래프에서 고주파를 제한적으로 사용하면 어텐션 스코어가 자연스럽게 거리 기반 감쇠를 보이며, 이는 기존 RPE 방식이 필요로 하는 거리 행렬을 명시적으로 계산하지 않아도 된다는 장점을 제공한다(정리 3).

실험 설계는 세 부분으로 나뉜다. (1) 합성 그래프(스펙트럼 기반 클러스터링, 라우팅 등)에서 WIRE가 기존 APE, RPE, Graphormer 등과 비교해 정확도와 수렴 속도가 우수함을 보였다. (2) 포인트 클라우드와 3‑D 물체 인식 데이터셋에서 선형 어텐션과 결합한 WIRE가 메모리 사용량을 크게 줄이면서도 성능 저하가 거의 없었다. (3) OGB‑MolPCBA, OGB‑Arxiv 등 대규모 실세계 벤치마크에서 WIRE를 적용한 Graph Transformer가 최고 수준의 ROC‑AUC와 정확도를 기록했다. 특히, 라플라시안 고유벡터를 근사하는 Lanczos 방법을 사용해도 성능 손실이 미미했으며, 이는 실제 시스템에 적용 가능성을 높인다.

마지막으로, WIRE는 파라미터 효율성도 뛰어나다. 회전 각도에 사용되는 ω는 레이어당 d/2개(보통 d=64~128) 정도이며, 전체 모델 파라미터 대비 미미한 비중을 차지한다. 또한, 동일한 ω를 여러 레이어와 헤드에 공유하거나 완전히 고정해도 성능 저하가 크지 않아, 경량화된 모델 설계에 유리하다.

요약하면, WIRE는 그래프 라플라시안 스펙트럼을 활용해 RoPE를 일반화한 위치 인코딩으로, 이론적 정당성과 실험적 우수성을 동시에 제공한다. 특히, 선형 어텐션과의 호환성, 파라미터 절감, 그리고 효과 저항과의 연관성을 통해 기존 상대 위치 인코딩의 한계를 극복한다는 점이 가장 큰 강점이다.