관계형 그래프 트랜스포머

초록

RelGT는 관계형 데이터베이스를 이질·시간적 그래프로 변환한 뒤, 노드를 ‘특징·유형·홉·시간·지역구조’ 다섯 요소로 토큰화하고, 로컬 서브그래프와 전역 센트로이드에 대한 혼합 어텐션을 적용한다. 이를 통해 기존 GNN이 놓치던 장거리 의존성과 스키마‑기반 구조를 효율적으로 학습하며, RelBench 21개 태스크에서 최대 18%까지 성능 향상을 달성한다.

상세 분석

본 논문은 관계형 데이터베이스를 이질·시간적 그래프(REL)로 모델링하고, 기존 GNN이 갖는 구조적 표현력 한계와 장거리 전파 제약을 극복하기 위해 그래프 트랜스포머 기반의 RelGT를 제안한다. 핵심 기여는 다섯 요소 토큰화(multi‑element tokenization)이다. 각 노드는 (1) 원시 피처, (2) 테이블 기반 타입, (3) 시드 노드와의 홉 거리, (4) 타임스탬프 기반 시간 인코딩, (5) 서브그래프 내 로컬 구조(예: 이웃 유형 분포)로 분해된다. 이들 요소는 별도 인코더(멀티모달, 타입, 홉, 시간, 구조 인코더)를 통해 동일 차원의 임베딩으로 변환된 뒤, 요소별 가중합으로 최종 토큰을 만든다. 이렇게 하면 사전 계산이 필요 없는 경량 토큰화가 가능해 대규모 데이터셋에서도 스케일링이 용이하다.

어텐션 설계는 두 단계로 구성된다. 첫 번째는 샘플링된 로컬 서브그래프(고정 크기) 내에서 완전 어텐션을 수행해 세밀한 구조 정보를 캡처한다. 두 번째는 학습 가능한 전역 센트로이드 토큰(soft centroids)을 도입해 전체 데이터베이스 수준의 전역 컨텍스트를 제공한다. 로컬 어텐션과 전역 어텐션을 교차 연결함으로써, 노드 간 장거리 의존성을 효율적으로 모델링하면서도 계산 복잡도는 O(N·k) 수준(여기서 k는 샘플링 이웃 수)으로 제한한다.

시간적 처리 측면에서는 시드 노드 주변 이웃을 시간‑인식 샘플링(time‑aware neighbor sampling)하여 과거 정보만을 사용하도록 설계했으며, 토큰의 시간 인코더는 상대적 순서를 학습한다. 이로써 데이터 누수를 방지하면서 시계열 패턴을 학습한다.

실험에서는 RelBench에 포함된 21개의 이질·시간적 테이블 기반 태스크(추천, 사기 탐지, 사용자 이탈 예측 등)를 대상으로, 기존 Heterogeneous Graph Transformer(HGT)와 GraphSAINT 기반 GraphSAGE, RelGNN, ContextGNN 등 최신 GNN 베이스라인과 비교했다. RelGT는 평균 9.3%의 절대 성능 향상을 보였으며, 최고 18%까지 개선했다. 특히 메모리와 연산량 측면에서 HGT에 비해 전역 PE(Laplacian eigenvectors)를 사용하지 않음에도 불구하고 비슷하거나 낮은 GPU 메모리 사용량을 기록했다.

한계점으로는 토큰화 시 고정된 홉 거리와 서브그래프 크기가 하이퍼파라미터에 크게 의존한다는 점, 그리고 전역 센트로이드 수가 데이터 규모에 따라 조정 필요하다는 점을 언급한다. 향후 연구에서는 동적 센트로이드 업데이트와 메타‑학습 기반 토큰 파라미터 자동 튜닝을 제안한다.

전반적으로 RelGT는 관계형 데이터베이스의 스키마‑구조, 이질성, 시간성을 동시에 고려한 최초의 그래프 트랜스포머이며, 사전 계산 비용 없이 대규모 엔터프라이즈 데이터에 적용 가능한 실용적인 솔루션을 제공한다.