SuperPoint SLAM3 딥러닝 특징과 적응형 NMS로 ORB SLAM3 강화

초록

본 논문은 ORB‑SLAM3에 최신 Self‑supervised 특징 검출기인 SuperPoint와 Adaptive Non‑Maximal Suppression(ANMS)을 도입하고, NetVLAD 기반 학습형 루프 클로저를 추가함으로써 실시간 성능을 유지하면서도 KITTI와 EuRoC 데이터셋에서 평균 변위 오차를 4.15 %→0.34 % 및 회전 오차를 0.0027 deg/m→0.0010 deg/m로 크게 감소시킨다.

상세 분석

SuperPoint‑SLAM3은 기존 ORB‑SLAM3의 세 가지 핵심 모듈—트래킹, 로컬 매핑, 루프 클로징—에 순차적으로 깊이 학습 기반 요소를 삽입한다. 첫 번째 단계는 ORB 대신 SuperPoint 네트워크를 이용해 256‑차원 실수형 디스크립터와 강인한 키포인트를 추출하는 것이다. SuperPoint는 합성 호모그래피를 이용한 자기지도 학습으로 다양한 시점·조명 변환에 대해 높은 재현성과 매칭 정확도를 제공한다. 그러나 SuperPoint 자체 NMS는 응답이 높은 영역에 키포인트가 집중되는 경향이 있어, 공간적 균일성을 보장하기 위해 Adaptive Non‑Maximal Suppression(ANMS)을 추가한다. ANMS는 각 키포인트의 응답 강도에 비례해 억제 반경을 동적으로 설정하고, 억제 반경이 큰 순서대로 상위 N개(실험에서는 N=1000)를 선택함으로써 전체 이미지에 고르게 분포된 특징 집합을 만든다.

디스크립터 매칭은 ORB의 해밍 거리에서 L2 거리 기반 브루트‑포스 매처로 전환하고, Lowe 비율 테스트와 상호 검증을 적용해 잘못된 매칭을 억제한다. 이 과정에서 GPU 가속과 kd‑tree 기반 근접 이웃 탐색을 활용해 실시간 요구사항을 충족한다. 매칭 품질이 향상되면 PnP+RANSAC 기반 포즈 추정이 더 정확해지고, 로컬 번들 어드저스트먼트 단계에서도 더 견고한 3‑D 포인트 재구성이 가능해진다.

루프 클로징 측면에서는 기존 ORB‑SLAM3의 바이너리 디스크립터에 최적화된 Bag‑of‑Words(BoW) 방식을 그대로 사용할 수 없으므로, 논문에서는 일시적으로 루프 클로징을 비활성화하고 NetVLAD 기반 학습형 장소 인식 모듈을 제안한다. NetVLAD는 고차원 디스크립터를 집합적으로 압축해 전역 이미지 특징을 생성하므로, 대규모 순환 검출과 포즈 그래프 최적화에 적합하다. 현재 구현에서는 NetVLAD가 경량화된 형태로 실시간 루프 클로징 파이프라인에 삽입될 예정이며, 초기 실험에서는 루프 클로징 비활성화 상태에서도 트래킹·매핑 정확도가 크게 개선된 것을 확인했다.

연산 비용 측면에서 SuperPoint 추론은 GPU에서 10 ms 이하로 수행되며, ANMS와 매칭 단계는 멀티코어 CPU에서 병렬화해 전체 프레임당 30 ms 내외의 지연을 유지한다. 메모리 사용량은 256‑차원 디스크립터와 키포인트 수 증가로 기존 ORB 대비 약 3배 상승하지만, 효율적인 메모리 풀링과 압축 저장을 통해 실시간 SLAM에 필요한 메모리 한계를 넘지 않는다.

실험 결과는 두 가지 벤치마크에서 일관된 성능 향상을 보여준다. KITTI Odometry에서는 평균 변위 오차가 4.15 %에서 0.34 %로 12배 이상 감소했으며, 회전 오차도 0.0027 deg/m에서 0.0010 deg/m로 절반 수준으로 낮아졌다. EuRoC MAV 데이터셋에서는 모든 시퀀스에서 변위 오차가 1.2 %1.6 %에서 0.5 %0.9 %로, 회전 오차가 0.0035 deg/m0.0045 deg/m에서 0.0018 deg/m0.0028 deg/m로 각각 약 50 % 감소했다. 이러한 결과는 딥러닝 기반 특징과 공간적 균일성을 보장하는 ANMS, 그리고 학습형 루프 클로징이 기존 전통적 파이프라인을 대체하면서도 실시간성을 유지할 수 있음을 입증한다.