부정 인식 확산 기반 시계열 지식 그래프 예측 모델

초록

NADEx는 시계열 지식 그래프(TKG) 외삽을 위해 객체 쿼리를 정규분포로 퍼뜨리는 확산 과정을 설계하고, 배치‑단위 부정 프로토타입을 이용한 코사인 정렬 정규화로 긍정·부정 후보를 명확히 구분한다. 변환기 기반 디노이저가 시간·관계 맥락을 조건으로 사용해 노이즈를 역전파하며, 실험에서 네 개 벤치마크 모두 최신 성능을 달성한다.

상세 분석

본 논문은 시계열 지식 그래프(TKG) 외삽 문제에 확산 모델(Diffusion Model, DM)을 적용하면서 두 가지 핵심 결함을 보완한다. 첫째, 기존 DM 기반 방법은 양성 삼중항만을 조건으로 사용해 부정(negative) 정보를 무시한다. 이는 미래 사건을 예측할 때 “어떤 엔티티가 올바르지 않은가”에 대한 정보를 제공하지 못해 예측 분포가 넓게 퍼지는 원인이 된다. NADEx는 객체 쿼리(oₜ)를 전방 확산 단계에서 가우시안 노이즈와 함께 부정 샘플(o₋ₜ)을 동시에 섞어, 부정 컨텍스트를 명시적으로 모델에 주입한다. 부정 샘플은 미니배치 내 다른 목표 엔티티들의 평균 임베딩을 사용해 배치‑단위 부정 프로토타입을 구성함으로써, 계산 비용을 크게 늘리지 않으면서도 풍부한 대조 정보를 제공한다.

둘째, 기존 방법은 교차 엔트로피 기반 순위 손실에 의존해 후보 순서를 맞추지만, 정규화된 임베딩 공간에서 긍정·부정 사이의 마진을 직접 제어하지 못한다. 이를 해결하기 위해 NADEx는 코사인 정렬 정규화(cosine‑alignment regularizer)를 도입한다. 이 정규화는 디노이징 과정에서 복원된 객체 임베딩과 해당 배치의 부정 프로토타입 사이의 코사인 유사도를 최소화하도록 학습한다. 결과적으로, 긍정 후보는 부정 프로토타입과의 각도가 크게 벌어져 결정 경계가 명확해지고, 예측 분포는 더 날카롭고 캘리브레이션된 형태를 갖는다.

모델 아키텍처는 세 가지 시퀀스(객체, 관계, 시간)를 각각 임베딩 행렬(Eₒ, Eᵣ, E_Δt)로 변환하고, Transformer 기반 디노이저에 입력한다. 디노이저는 각 확산 단계 m에서 현재 노이즈된 임베딩 ˆoₘ와 시계열·관계 컨텍스트(