다중모달 딥퓨전으로 무단 UAV 궤적을 40% 정확히 예측한다

초록

본 논문은 LiDAR와 밀리미터파 레이더의 포인트 클라우드를 결합한 다중모달 딥퓨전 네트워크를 제안한다. 독립적인 PointNet 기반 인코더와 양방향 교차‑어텐션 모듈을 통해 두 센서의 공간 기하와 동적 반사 정보를 상호 보완하게 하며, Smooth L1 손실과 후처리(이상점 검출 + 슬라이딩 평균)로 예측 정확도를 크게 향상시킨다. MMAUD 데이터셋에서 기존 베이스라인 대비 40 % 향상을 입증하였다.

상세 분석

이 연구는 저고도 경제에서 급증하는 무단 UAV의 위협을 실시간으로 탐지·예측하기 위한 센서 융합 전략을 제시한다. 먼저 LiDAR와 77 GHz 밀리미터파 레이더를 각각 독립적인 구조가 동일한 PointNet‑기반 인코더에 입력한다. PointNet은 포인트 클라우드의 순서에 무관하게 고차원 특징을 추출하고, 채널 어텐션을 삽입해 각 모달리티의 중요 채널을 자동으로 가중한다. 이후 양방향 교차‑어텐션(Bidirectional Cross‑Attention) 단계에서 LiDAR 특징을 Query, Radar 특징을 Key·Value로 매핑하고, 반대 방향도 동일하게 수행한다. 이 과정은 두 모달리티 간의 의미적 정렬을 촉진하고, 한 센서의 약점(예: 레이더의 저해상도, LiDAR의 악천후 민감도)을 다른 센서가 보완하도록 설계되었다.
특징 결합 후에는 두 모달리티의 원본 특징과 교차‑어텐션으로 강화된 특징을 원소별 합산하고, 두 층의 완전 연결(FC) 레이어와 Dropout을 거쳐 3‑D 위치를 회귀한다. 손실 함수는 Smooth L1을 채택해 작은 오차에서는 L2와 유사하게 빠른 수렴을, 큰 오차에서는 L1처럼 선형 성장해 이상치에 대한 민감도를 낮춘다. 실험 결과, 동일 네트워크를 RMSE 손실로 학습했을 때 위치 RMSE 3.20 m에 비해 Smooth L1 사용 시 1.78 m로 크게 개선되었다.
예측 후처리에서는 (1) 위치 급변을 감지하는 이상점 검출(임계값 2 m)과 (2) 길이 5 프레임 슬라이딩 평균을 적용한다. 단독 이상점 검출은 위치 RMSE를 1.61 m까지 낮추지만 속도 RMSE가 크게 증가한다. 반면 두 기법을 결합하면 위치 RMSE 1.67 m, 속도 RMSE 1.38 m/s를 달성해 전체적인 궤적 연속성과 물리적 합리성을 동시에 확보한다.
데이터는 CVPR 2024 UG2+ UAV Tracking & Pose‑Estimation Challenge에서 제공된 MMAUD 데이터셋을 활용했으며, Mavic 2/3/Phame을 학습, M300을 테스트에 사용했다. LiDAR‑Radar 동기화는 가장 근접한 타임스탬프 매칭과 제로 패딩으로 구현해 입력 형태를 일관되게 유지하였다. 베이스라인(단일 LiDAR + 칼만 필터) 대비 다중모달 교차‑어텐션 모델은 위치 오차 2.79 m → 1.67 m, 속도 오차 1.73 m/s → 1.38 m/s로 약 40 % 성능 향상을 보였다.
이 논문의 주요 기여는 (1) 동일 구조의 두 인코더와 채널 어텐션을 통한 효율적 특징 추출, (2) 양방향 교차‑어텐션을 통한 모달리티 간 의미 정렬, (3) Smooth L1 기반 회귀와 후처리 파이프라인을 결합한 실용적 궤적 예측 프레임워크이다. 한계점으로는 현재 프레임당 독립적인 처리에 머물러 시계열 모델(LSTM·Transformer)과의 통합이 미비하고, 고품질 라벨 데이터에 의존한다는 점을 들 수 있다. 향후 연구는 시공간 그래프 신경망이나 자기지도 학습을 도입해 연속 프레임을 직접 모델링하고, 카메라·음향 센서 등 추가 모달리티를 확장하는 방향으로 진행될 수 있다.