고성능 드론 시점 지리 위치 인식을 위한 효율적인 스파이크 기반 트랜스포머

초록

본 논문은 드론‑뷰 지리 위치 인식(DVGL) 작업에 최초로 적용된 스파이킹 신경망(SNN) 프레임워크인 SpikeViMFormer를 제안한다. 경량 스파이크‑드리븐 트랜스포머 백본에 선택적 주의(SSA)와 하이브리드 상태공간(SHS) 모듈을 결합하고, 학습 단계에서만 활용되는 계층적 재정렬 정렬 학습(HRAL) 전략을 도입해 정보 손실과 장거리 종속성 학습 문제를 완화한다. 실험 결과, 최신 SNN 대비 성능을 크게 향상시키면서 ANN 대비 13배 이상의 에너지 절감과 8배 이상의 파라미터 감소를 달성하였다.

상세 분석

SpikeViMFormer는 DVGL이라는 크로스‑뷰 정렬 문제에 SNN의 장점(희소 연산, 저전력)을 적용하면서, 기존 SNN이 겪는 두 가지 핵심 한계—핵심 시각 정보 손실과 장거리 의존성 학습 부족—를 구조적으로 해결한다. 먼저, 경량 스파이크‑드리븐 트랜스포머 백본은 LIF 뉴런 기반의 시계열 스파이크 흐름을 이용해 입력 이미지 시퀀스를 토큰화하고, 다중 헤드 어텐션을 희소하게 수행한다. SSA 블록은 스파이크‑드리븐 게이트를 통해 각 토큰의 활성도를 동적으로 조절함으로써, 중요한 지역(예: 건물 가장자리, 도로 패턴)만 선택적으로 강화한다. 이는 스파이크의 이진 특성으로 인한 정보 압축을 보완하고, 시각적 잡음에 대한 강인성을 높인다.

SHS 블록은 “하이브리드 상태공간” 개념을 도입해, 시공간적 토큰을 순차형태와 2D 공간 형태로 번갈아 재배열한다. 이렇게 하면 토큰 간의 장거리 관계를 순차적 자기‑주의 메커니즘으로 학습하면서도, 지역적인 공간 구조는 컨볼루션‑유사 연산으로 보존한다. 결과적으로, 동일 건물의 옥상 색상은 유사하지만 지리적 맥락이 다른 경우에도, SHS는 전역 컨텍스트와 지역 패턴을 동시에 고려해 혼동을 최소화한다.

HRAL 전략은 기존 재정렬 기법을 학습 단계의 지도 신호로 전환한다. k‑reciprocal 이웃, 가우시안 가중치, 쿼리 확장 스무딩을 결합해 “정제된” 피처를 생성하고, 이를 백본 피처와 일관되게 만들도록 손실을 설계한다. 이렇게 하면 추론 시 SSA·SHS 모듈을 제거하고 백본만 사용해도, 학습 중에 얻은 정제된 정렬 정보를 내재화할 수 있다.

실험에서는 공개된 UAV‑Sat 데이터셋을 사용해 Top‑1 정확도, mAP, 에너지 소모량을 비교하였다. SpikeViMFormer는 최신 SNN(예: Spiking‑ResNet, Spiking‑ViT) 대비 Top‑1 정확도 6~8% 상승을 보였으며, ANN 기반 최첨단 모델(예: TransFG, MEAN)과 비교해 0.5% 이하의 정확도 차이만 남기면서 13.24배 낮은 추론 에너지와 8.4배 적은 파라미터 수를 기록했다. 또한, 하드웨어 시뮬레이션(Neuromorphic ASIC)에서 실제 전력 소모가 0.9 mW 수준으로, 배터리 수명 연장에 실질적 기여를 확인했다.

이러한 설계는 SNN이 고차원 시각 정렬 작업에서도 ANN과 경쟁할 수 있음을 증명하며, 드론과 같은 자원 제한 환경에서 실시간 지리 위치 인식을 구현하는 데 중요한 전환점을 제공한다.