물리 기반 확산 맘바 트랜스포머를 활용한 실세계 자율주행 궤적 예측

초록

본 논문은 확산 모델에 Mamba와 Self‑Attention을 결합한 Diffusion Mamba Transformer 구조와, 포트‑해밀토니안 신경망을 통한 에너지 기반 물리 제약을 도입한다. 이를 통해 센서 스트림·과거 궤적의 장기 시계열 정보를 효율적으로 통합하고, 차량 동역학·충돌 회피와 같은 물리적 일관성을 보장한다. 실험 결과, 기존 최첨단 방법보다 예측 정확도, 물리적 타당성, 그리고 강인성에서 모두 우수함을 입증한다.

상세 분석

이 연구는 두 가지 핵심 혁신을 제시한다. 첫 번째는 확산 과정에 Mamba 모듈과 Multi‑Head Attention을 순차적으로 삽입한 Diffusion Mamba Transformer(DiMT)이다. Mamba는 선형 시간 복잡도의 상태‑공간 모델로, 긴 시계열을 압축된 상태 표현으로 요약한다. 이러한 상태는 이후의 Self‑Attention에 전달되어 전역적인 관계 추출을 돕고, 전통적인 Transformer의 O(N²) 복잡도를 크게 낮춘다. 특히, DiMTBlock은 Mamba → Attention → Gated‑MLP → Cross‑Attention → MoE 순서로 구성되어, 시간적 부드러움, 전역 상호작용, 환경 컨텍스트 결합, 그리고 전문가 기반 특화 학습을 단계별로 수행한다. 두 번째 혁신은 Port‑Hamiltonian Neural Network(PHNN)이다. 차량을 비보존 시스템으로 모델링해, Hamiltonian H를 주로 운동 에너지(½mv²)로 정의하고, 외부 힘(F_ext)와 항력(F_drag)을 포트 입력 Q_nc = F_ext − F_drag 로 표현한다. PHNN은 미분 방정식 ˙x = (J−R)∇H + G·u 를 신경망으로 근사해, 각 diffusion step에서 물리적 일관성을 강제한다. 가속도 추정 MLP은 과거 0.5 s 평균 가속도를 입력으로 받아 물리적으로 가능한 a_est 를 출력하고, 이를 Q_nc에 매핑해 momentum 업데이트에 반영한다. 이 설계는 차량의 비선형 동역학, 비홀론믹 제약, 그리고 충돌 회피를 학습 과정에 직접 내재시켜, 사후 필터링이나 규칙 기반 보정 없이도 물리적으로 타당한 궤적을 생성한다. 실험에서는 nuScenes, Waymo Open Dataset 등 대규모 실세계 데이터셋에서 기존 Diffusion‑Transformer, Trajectory‑Mamba, 그리고 rule‑based refinement 기반 모델들을 능가하였다. 특히, curvature·acceleration 한계 위반 비율이 30 % 이상 감소했으며, 평균 ADE/FDE가 10 % 이상 개선되었다. 또한, Mamba 덕분에 GPU 메모리 사용량이 40 % 감소하고, 실시간 추론(≤50 ms) 요건을 만족한다. 한계점으로는 PHNN이 현재는 단순한 평면 차량 모델에 국한되어 있어, 복잡한 도로 경사·공기역학을 포함한 전역 물리 모델링에는 추가 연구가 필요하다.