시간 커널 기반 엣지 어텐션으로 TGNN의 의미 흐림 해결

초록

본 논문은 동적 그래프에서 노드와 엣지의 시간적 변화 속도가 다름에도 기존 TGNN이 이를 구분하지 못해 발생하는 ‘의미 어텐션 블러링’ 문제를 지적한다. 저자는 엣지 특징에 연속시간 커널(Laplacian, RBF, 학습형 MLP)을 적용해 시간 가중치를 직접 부여하는 KEAT(Kernelized Edge Attention) 방식을 제안한다. KEAT는 Transformer‑style과 Message‑passing 기반 TGNN에 최소한의 구조 변경만으로 삽입 가능하며, DyGFormer와 TGN에 적용했을 때 링크 예측 MRR에서 각각 18%·7% 향상을 기록한다.

상세 분석

KEAT가 제시하는 핵심 아이디어는 “엣지 시간 정보만을 커널 함수로 스케일링하고, 노드 임베딩은 그대로 유지한다”는 점이다. 기존 TGNN(예: TransformerConv, TGN, DyGFormer)은 노드와 엣지 특징을 단순히 합산하거나 연결(concatenate)한 뒤 동일한 투사 행렬에 넣어 어텐션 스코어를 계산한다. 이 과정에서 시간 인코딩은 입력에 포함되지만 어텐션 가중치 자체를 조정하지 못한다. 결과적으로 오래된 노드 상태와 최신 엣지 이벤트가 동일한 비중으로 섞여, 급변하는 거래나 메시지와 같은 중요한 순간적 신호가 희석된다.

논문은 이를 해결하기 위해 연속시간 커널 ψ(Δt)를 도입한다. ψ는 Δt(현재 시점과 과거 이벤트 간 시간 차)에 따라 0~1 사이의 스칼라 값을 반환하며, Laplacian(지수 감쇠), RBF(가우시안 감쇠), 그리고 MLP 기반 학습형 커널 세 가지 형태를 제공한다. 이 스칼라는 엣지 특징 (\bar e_{ij})와 직접 곱해져 키(key)와 밸류(value) 투사에 들어가므로, 어텐션 스코어 (\alpha_{ij})가 시간에 민감하게 변한다. 즉, 최근 이벤트는 높은 ψ값을 받아 강조되고, 오래된 이벤트는 자연스럽게 억제된다.

KEAT는 두 가지 설계 원칙을 만족한다. 첫째, 커널이 단조 감소하도록 하여 최신 정보를 우선시한다. 둘째,