유니트랙: 차별화 가능한 그래프 손실로 멀티오브젝트 트래킹 혁신

초록

유니트랙은 기존 트래킹 구조를 바꾸지 않고 그래프 기반 손실 함수를 추가함으로써 검출 정확도, 아이덴티티 유지, 시공간 일관성을 동시에 최적화한다. 흐름, 공간, 시간 세 가지 미분 가능 손실을 자동 가중치로 결합해 ID 스위치 감소와 IDF1·MOTA 향상을 달성한다.

상세 분석

본 논문은 멀티오브젝트 트래킹(MOT)에서 흔히 발생하는 세 가지 오류 유형—폐색 후 ID 스위치, 시간적 불일치, 교차 객체 간 ID 교환—을 하나의 통합 손실로 해결하고자 한다. 이를 위해 저자들은 각 프레임을 정점, 프레임 간 연관성을 간선으로 하는 시공간 그래프 Gt=(Vt,Et,Wt)를 구성한다. 그래프 흐름 보존 제약을 도입해 객체의 등장·소멸·연속을 balance 변수 b_i^t∈{-1,0,1}로 표현하고, 연관 강도 f_ij^t를 흐름 변수로 두어 최적화한다. 핵심은 세 가지 미분 가능 손실 L_flow, L_spatial, L_temporal을 가중합한 L= L_flow+λ_s L_spatial+λ_t L_temporal이다.

L_flow는 흐름 기반 손실로, 간선 가중치 w_ij와 흐름 변수 f_ij를 곱한 뒤 검출 품질(FP, FN 비율)에 따라 지수 감쇠를 적용한다. 이는 검출이 정확할 때는 강한 연관을 학습하고, 검출이 불안정할 때는 연관 강도를 완화한다. L_spatial은 객체 간 상대 위치 관계를 보존하도록 설계돼, 교차 상황에서 ID 교환을 방지한다. L_temporal은 시간 연속성을 강화해 포즈 변화나 빠른 움직임에도 일관된 트랙을 유지한다.

가중치 λ_s와 λ_t는 그래프 라플라시안 기반의 장면 특성 분석을 통해 자동 조정된다. 즉, 혼잡한 장면에서는 공간 손실에 높은 가중치를, 빠른 움직임이 지배적인 장면에서는 시간 손실에 높은 가중치를 부여한다. 이러한 적응형 가중치는 별도의 하이퍼파라미터 튜닝 없이도 다양한 시나리오에 최적화된 학습을 가능하게 한다.

실험에서는 TrackFormer, MOTR, FairMOT, ByteTrack, GTR, MOTE 등 7가지 상이한 아키텍처에 UniTrack 손실을 플러그인 형태로 적용하였다. 모든 베이스라인에서 ID 스위치가 평균 53% 감소하고, IDF1이 12% 향상되었으며, 특히 GTR에 적용했을 때 SportsMOT 데이터셋에서 MOTA가 9.7% 상승하는 등 일관된 성능 개선을 보였다. 또한, 그래프 흐름 네트워크는 윈도우 크기 5프레임으로 설계돼 메모리와 연산량을 효율적으로 관리하면서도 충분한 시공간 정보를 제공한다.

이 논문의 주요 기여는 (1) 트래킹 전용 그래프 손실을 제안해 기존 모델을 구조적으로 변경하지 않고도 성능을 끌어올린 점, (2) 흐름·공간·시간 손실을 자동 가중치로 결합해 장면에 따라 동적으로 최적화한다는 점, (3) 다양한 최신 MOT 모델에 범용적으로 적용 가능함을 실험적으로 입증한 점이다. 이러한 접근은 향후 MOT 연구에서 손실 설계와 그래프 기반 연관 모델링이 별도의 아키텍처 설계 없이도 강력한 성능 향상을 제공할 수 있음을 시사한다.