도시 시공간 예측을 위한 도메인 적응형 Mamba 모델

초록

**
Damba‑ST는 선형 시간 복잡도를 갖는 상태공간 모델 Mamba에 도메인 적응 메커니즘을 결합한 프레임워크이다. 공유 서브스페이스와 도메인‑특화 서브스페이스로 표현을 분리하고, 도메인 어댑터를 통해 서로 다른 도시·지역 데이터의 분포 차이를 완화한다. 이를 통해 기존 Transformer 기반 모델의 O(T²)·O(N²) 복잡도를 피하면서도, 다양한 도시 환경에서 제로샷 일반화와 높은 예측 정확도를 달성한다.

**

상세 분석

**
본 논문은 도시 교통·인구 흐름과 같은 시공간 데이터를 다루는 데 있어 두 가지 근본적인 난제를 제시한다. 첫째, 도시마다 공간 구조와 시간 패턴이 크게 달라 데이터 분포가 이질적이며, 이는 기존 Transformer‑ 기반 통합 모델이 학습한 공통 표현이 특정 도메인에 과적합되는 ‘네거티브 트랜스퍼’ 현상을 초래한다. 둘째, Transformer는 자기‑주의 메커니즘으로 인해 입력 길이에 대해 O(T²)·O(N²)의 계산·메모리 비용을 요구해 대규모 교통망이나 장기 예측에 비현실적이다.

Mamba는 선형 복잡도를 갖는 상태공간 모델(SSM)로, 선택적 매개변수화와 병렬 연관 스캔을 통해 효율성을 확보한다. 그러나 원래 설계는 언어 시퀀스에 최적화돼, 시공간 데이터의 도메인 차이를 반영할 메커니즘이 부족하고, 재귀적 hidden‑state 업데이트가 도메인‑특화 정보를 누적·증폭시켜 일반화에 악영향을 미친다.

Damba‑ST는 이러한 한계를 극복하기 위해 ‘Domain‑Adaptive State Space Model(DASSM)’을 도입한다. DASSM은 전체 잠재 표현을 (1) 공유 서브스페이스 C와 (2) 각 도메인별 특화 서브스페이스 Sᵢ 로 명시적으로 분할한다. 공유 서브스페이스는 도시 전반에 공통적인 교통 규칙(예: 일·주기 패턴, 기본 흐름) 학습에 전념하고, 특화 서브스페이스는 각 도시·지역 고유의 공간 레이아웃·특수 이벤트 등을 캡처한다.

핵심 구현은 세 종류의 Domain Adapter이다. 각 어댑터는 학습 가능한 임베딩으로 초기화돼, 입력 시퀀스와 결합돼 도메인‑특화 정보를 ‘프록시’ 역할로 전달한다. 어댑터 간 상호작용은 CLS‑토큰과 유사하게 전체 시퀀스의 일반화 가능한 요약을 형성하며, 이는 공유 서브스페이스와의 정합을 촉진한다.

아키텍처는 크게 Multi‑View Encoding(MVE), Intra‑Domain Scanning(IDS), Cross‑Domain Adaptation(CDA) 로 구성된다. MVE는 원본 시공간 데이터를 (① 공간 뷰, ② 시간 뷰, ③ 시공간 지연 뷰) 로 분리해 각각의 특성을 강조한다. IDS는 각 뷰를 일관된 1‑D 시퀀스로 변환해 Mamba에 입력 가능하도록 만든다. CDA 단계에서 DASSM이 적용돼, Discrimination Learner가 Sᵢ를, Commonalities Learner가 C를, Adapter Learner가 어댑터를 학습한다. 최종적으로 세 뷰의 출력은 Fusion 모듈을 통해 결합돼 미래 흐름을 예측한다.

실험에서는 미국·중국·유럽 등 7개 도시·지역의 교통·택시·자전거 수요 데이터를 사용해, 기존 Transformer‑GNN 기반 파운데이션 모델 대비 1.8%~4.3% 향상된 MAE/RMSE를 기록했다. 특히, 사전 학습된 모델을 전혀 보지 못한 신규 도시에서 제로샷 예측 정확도가 85% 이상 유지돼, 도메인 적응 효과를 실증하였다. 또한, Mamba 기반 구조 덕분에 메모리 사용량이 기존 모델의 30% 수준으로 감소하고, 추론 속도는 2배 이상 가속되었다.

이 논문은 (1) 시공간 데이터의 도메인 이질성을 명시적 서브스페이스 분할로 모델링, (2) 어댑터를 통한 도메인 간 교량 역할 부여, (3) 선형 복잡도 SSM을 활용한 실용적 효율성 확보라는 세 축을 성공적으로 결합했다는 점에서, 도시 인프라 AI의 확장성과 실시간 적용 가능성을 크게 높이는 중요한 기여를 한다.

**