시퀀스 확산 모델을 이용한 연속시간 동적 그래프 링크 예측

초록

본 논문은 연속시간 동적 그래프에서 미래의 링크를 예측할 때, 기존 TGNN이 제공하는 점 추정이 아닌 확률적 시퀀스‑레벨 확산 프레임워크(SDG)를 제안한다. 역사적 상호작용 시퀀스 전체에 노이즈를 주입하고, 조건부 디노이징 디코더를 통해 목적지 시퀀스를 복원함으로써 불확실성을 모델링하고 장기적인 시간적 구조를 학습한다. 실험 결과, SDG는 여러 벤치마크에서 최신 방법들을 지속적으로 능가한다.

상세 분석

본 연구는 동적 그래프의 시간적 링크 예측을 “조건부 생성” 문제로 재정의하고, 이를 확산 모델(DDPM)의 틀 안에서 해결한다는 점에서 혁신적이다. 기존 TGNN(JODIE, DyRep, TGN 등)은 과거 인터랙션을 순차적으로 인코딩하고, 최종 목적지 노드에 대한 점수만을 출력한다. 이러한 접근은 (1) 미래 인터랙션의 불확실성을 정량화하지 못하고, (2) 다수의 미래 이벤트가 갖는 순차적 의존성을 무시한다는 근본적인 한계를 가진다.

SDG는 두 가지 핵심 설계를 도입한다. 첫째, “시퀀스‑레벨 노이즈 주입”이다. 소스 노드 u의 최근 L개의 이웃(v₁,…,v_L)과 목표 노드 v를 하나의 연속된 시퀀스 Tᵤ,ₜ = {(v₂,t₂),…,(v,t)} 로 결합하고, 이 전체 시퀀스 임베딩 X₀에 대해 단계별 가우시안 노이즈를 추가한다. 이렇게 하면 디노이징 과정이 각 위치별로 복원해야 할 목표를 제공하므로, 모델은 목적지 노드뿐 아니라 중간 이웃들의 분포까지 학습한다.

둘째, “조건부 교차‑어텐션 디노이징 디코더”이다. 역사적 상호작용 시퀀스 Sᵤ,ₜ를 인코더(인코딩된 Z₁:ₗ)로 변환하고, 이를 디노이징 네트워크의 쿼리로 사용한다. 디노이징 단계 k에서는 시간 임베딩 γ(k)를 MLP로 변환해 노이즈 시퀀스 X_k에 더하고, 교차‑어텐션을 통해 Z₁:ₗ이 각 위치의 복원에 가이드한다. 이 설계는 (a) 시간적 컨텍스트를 직접 반영해 시퀀스 전반에 걸친 일관성을 보장하고, (b) 기존 TGNN이 사용하는 단일 포인트 예측보다 풍부한 확률적 정보를 제공한다는 장점을 가진다.

학습 목표는 기존 DDPM의 ε‑예측 대신 x₀‑예측 방식을 채택하고, MSE 대신 코사인 유사도 기반 손실 L_diff = Σ_i (1‑cos(ˆX₀ᵢ, X₀ᵢ))² 를 사용한다. 코사인 손실은 임베딩 크기에 무관하게 순위 기반 평가와 잘 맞으며, ELBO의 변형 형태로 이론적 정당성을 확보한다.

실험에서는 Reddit, Wikipedia, MOOC 등 6개의 연속시간 그래프 데이터셋에 대해 HR@10, MRR 등 표준 지표를 측정한다. SDG는 메모리 기반(TGN)과 메모리‑프리(CRAFT) 모델을 모두 앞서며, 특히 긴 시퀀스(L≥50)에서 성능 격차가 크게 나타난다. 이는 시퀀스‑레벨 디노이징이 장기 의존성을 효과적으로 포착한다는 증거다.

한계점으로는 (1) 시퀀스 길이에 비례해 메모리·연산 비용이 증가한다는 점, (2) 노이즈 스케줄 β_k와 시퀀스 길이 L에 대한 민감도가 존재한다는 점을 들 수 있다. 향후 연구에서는 효율적인 샘플링 전략이나 계층적 확산 설계가 필요하다.

요약하면, SDG는 동적 그래프의 시간적 링크 예측을 확률적 시퀀스 생성 문제로 전환하고, 전체 인터랙션 시퀀스를 대상으로 하는 확산‑디노이징 메커니즘을 통해 불확실성 및 장기 구조를 동시에 모델링한다는 점에서 기존 방법들을 뛰어넘는 새로운 패러다임을 제시한다.