공간 인지 트랜스포머: 지오통계 공분산 편향을 자기주의에 주입한 시공간 예측

초록

본 논문은 전통적인 지오통계학의 공분산 구조와 최신 트랜스포머의 고용량 표현력을 결합한 하이브리드 모델을 제안한다. 학습 가능한 매터니 혹은 지수 커널을 자기주의 점수에 직접 삽입함으로써 거리 기반의 부드러운 제약을 부여하고, 이를 통해 공간적으로 인접한 센서 간 상호작용을 우선시한다. 실험 결과는 합성 가우시안 랜덤 필드와 실제 교통 데이터(METR‑LA)에서 기존 그래프 신경망 및 순수 트랜스포머보다 정확도와 확률적 캘리브레이션 모두에서 우수함을 보여준다. 특히 네트워크가 역전파를 통해 공간 감쇠 파라미터를 자동으로 복원하는 “Deep Variography” 현상을 확인하였다.

상세 분석

이 연구는 시공간 데이터의 두 가지 핵심 요구를 동시에 만족시키려는 시도로, (1) 물리적 거리와 상관관계가 감소한다는 지오통계학적 선험적 지식, (2) 비선형 복잡한 동역학을 학습할 수 있는 딥러닝의 표현력을 결합한다. 기존 트랜스포머의 자기주의는 입력 토큰 순열에 불변(permutation‑invariant)하므로, 공간 좌표를 단순히 위치 인코딩에 더하는 수준에 머물러 거리 감소 법칙을 스스로 학습해야 한다. 이는 데이터 효율성을 크게 저하시킬 뿐 아니라, 물리적으로 비합리적인 주의 행렬을 초래한다.

논문은 이 문제를 해결하기 위해 자기주의 점수 (e_{ij}= \frac{q_i^\top k_j}{\sqrt{d_k}} + \Psi(|s_i-s_j|;\phi)) 로 재정의한다. 여기서 (\Psi)는 매터니·지수 등 연속적인 공분산 커널이며, 파라미터 (\phi)는 역전파를 통해 학습된다. 이 설계는 두 가지 중요한 효과를 만든다. 첫째, 커널 부분은 거리 기반의 부드러운 가중치를 제공해 물리적 인접성을 사전에 보장한다(soft topological constraint). 둘째, 쿼리·키의 내적은 데이터‑구동 비정상적 상관관계를 포착해 비정상성·비선형성을 모델링한다.

수학적으로는 전체 주의 행렬 (A = \text{softmax}(QK^\top/\sqrt{d_k} + \Psi(D_S;\phi))) 를 기존의 선형 연산에 커널 행렬을 덧붙인 형태로 해석한다. 이때 (\Psi(D_S;\phi))는 양정정(positive‑definite) 특성을 유지하도록 설계돼, 역전파 시 그래디언트가 안정적으로 전파된다. 또한, 커널 파라미터 (\phi)는 가우시안 랜덤 필드의 실제 감쇠 길이와 직접 연결되므로, 학습 과정에서 “Deep Variography”라 불리는 현상이 발생한다. 즉, 모델이 관측 데이터만으로도 토지·교통 흐름 등 실제 물리적 프로세스의 공간 스케일을 추정한다.

복잡도 측면에서, 커널 행렬을 사전 계산하거나 저차원 근사(예: 랜덤 푸리에 특징)으로 구현하면 O(N²) 연산을 유지하면서도 기존 트랜스포머 대비 파라미터 공간을 크게 축소한다. 실험에서는 합성 데이터에서 30% 이상의 MSE 감소와, 실제 교통 예측에서 MAE·RMSE 모두 기존 GNN(예: DCRNN, ST‑GCN)보다 10~15% 향상된 결과를 보고한다. 또한, 예측 분포의 신뢰구간이 실제 관측과 일치하는 캘리브레이션 지표(CRPS, PICP)에서도 우수함을 입증한다.

이러한 설계는 (i) 물리적 인덕티브 바이어스를 통해 데이터 효율성을 높이고, (ii) 전역적인 자기주의 구조를 유지해 장거리 텔레커넥션을 자연스럽게 포착하며, (iii) 학습 가능한 커널 파라미터를 통해 모델 자체가 물리적 현상의 스케일을 추정하도록 만든다. 따라서 전통적인 지오통계와 현대 딥러닝 사이의 격차를 효과적으로 메우는 새로운 패러다임을 제시한다.