스파이 트랙: 혼합 전문가 기반 시공간 파라미터 효율 파인튜닝을 통한 확장 가능한 비전 트래킹

초록

본 논문은 시각 추적에 특화된 혼합 전문가 모듈(TMoE)을 도입해, 다양한 이미지 패치 간 관계 모델링을 유연하게 처리한다. TMoE를 Transformer의 Self‑Attention과 FFN 레이어에 모두 적용하고, 라인성 선형 전문가와 압축 전문가를 결합해 파라미터 효율적인 파인튜닝을 가능하게 한다. 또한, 템플릿‑검색 이미지 쌍뿐 아니라 다프레임 시공간 컨텍스트를 활용해 추적 정확도를 크게 향상시켰으며, 전체 파라미터 대비 80% 정도만 학습함으로써 VIT‑B 기반 모델이 VIT‑L 기반 최신 트래커를 능가한다.

상세 분석

SPMTrack은 기존 ‘one‑stream’ 비전 트래커가 단일 Vision Transformer를 이용해 템플릿과 검색 영역을 동시에 처리하는 한계를 지적한다. 특히 배경‑전경 토큰 간 상호작용이 추적 성능을 저해한다는 점에서, 관계 모델링을 상황에 맞게 가변적으로 조절할 필요가 있다. 이를 해결하기 위해 저자는 ‘Task‑specific Mixture of Experts (TMoE)’를 설계하였다. TMoE는 기존 MoE가 주로 Feed‑Forward Network(FFN) 레이어에만 적용되는 것과 달리, Multi‑Head Self‑Attention(MSA)와 FFN 양쪽에 동일한 전문가 구조를 삽입한다. 각 전문가와 라우터는 모두 선형 레이어이며, 공유 전문가(shared expert)는 사전학습된 VIT 가중치를 그대로 복제해 고정하고, 압축 전문가(compression expert)는 입력 차원을 r(≪d)로 축소한다. 라우터는 토큰별로 Softmax를 통해 N_e개의 라우팅 가중치를 생성하고, 압축된 표현을 각 라우팅 전문가에게 전달한다. 라우팅 전문가들은 모두 활성화되어 가중합을 수행하고, 최종 출력은 라우팅 결과와 공유 전문가 출력을 합산한다.

이 설계는 두 가지 중요한 효과를 만든다. 첫째, 서로 다른 관계(예: 배경 억제, 경계 강조)를 담당하는 전문가들을 동시다발적으로 활용함으로써, 이미지 패치 간 상호작용을 상황에 맞게 조절한다. 둘째, 전문가가 모두 선형 레이어이므로 파라미터 오버헤드가 최소화된다. 실제로 전체 모델 파라미터 대비 학습 가능한 파라미터 비율이 약 20%에 불과해, 대규모 사전학습 모델을 그대로 활용하면서도 효율적인 파인튜닝이 가능하다.

시공간 확장 측면에서는, 기존 one‑stream 트래커가 단일 템플릿‑검색 쌍만을 입력으로 받는 반면, SPMTrack은 N개의 과거 프레임을 ‘reference frames’로 받아 토큰 시퀀스에 병합한다. 여기에는 전역적인 타깃 상태 토큰(H)도 포함되어, 시간에 따라 누적된 타깃 정보를 검색 토큰에 가중치(U) 형태로 전달한다. 이 가중치는 검색 토큰과 원소별 곱을 수행한 뒤, 2D 피처 맵으로 재구성되어 별도의 디코플드 MLP 헤드가 클래스와 바운딩 박스를 예측하도록 설계되었다.

실험에서는 LaSOT, GOT‑10K, TrackingNet, TNL2K 등 7개 데이터셋에 대해 VIT‑B 기반 SPMTrack‑B와 VIT‑L 기반 SPMTrack‑L 두 규모를 평가하였다. 파라미터 효율 파인튜닝 덕분에 VIT‑B 모델이 VIT‑L 기반 최신 트래커(예: OSTrack, ARTrackV2)를 능가했으며, 특히 경계 강조와 배경 억제가 중요한 시나리오에서 눈에 띄는 성능 향상을 보였다. Ablation 연구에서는 (1) 라우팅 전문가 수(N_e) 증가가 정확도 향상에 기여하지만 일정 수준을 넘어선 뒤 포화, (2) 압축 차원 r을 작게 잡을수록 파라미터 절감 효과가 크지만 지나치게 작을 경우 표현력 저하, (3) 공유 전문가를 고정한 채 라우팅 전문가만 학습했을 때 일반화 성능이 가장 높다는 것을 확인했다.

전체적으로 본 논문은 MoE 개념을 비전 트래킹에 맞게 재구성하고, 시공간 컨텍스트와 결합함으로써 파라미터 효율성과 성능을 동시에 달성한 점이 혁신적이다. 다만 라우터와 전문가 간의 계산 비용이 여전히 GPU 메모리와 연산량에 영향을 미치므로, 초대형 모델에 적용할 경우 메모리 최적화가 추가로 필요할 것으로 보인다.