동적 객체 검출 성능에 따른 자동 트래커 선택 기법

초록

본 논문은 영상 내용에 따라 트래커를 자동으로 선택하는 다중 객체 추적 프레임워크를 제안한다. KLT 기반 특징 추적으로 검출 오류를 보정하고, 외관 기반 디스크리미네이티브 트래커와 KLT 트래커 중 최적의 트래커를 온라인 추적 평가에 기반해 선택한다. 세 개의 공개 데이터셋 실험 결과, 기존 최첨단 방법보다 우수한 추적 정확도를 달성하였다.

상세 분석

이 연구는 객체 검출 단계에서 발생하는 오탐·누락을 KLT(Kanade‑Lucas‑Tomasi) 특징점 추적으로 보완한다는 점이 핵심이다. 기존 검출기가 두 프레임 사이에 동일 객체를 중복 검출하거나, 부분 가려짐으로 인해 하나의 박스로 여러 객체를 포함하는 경우를 ‘잘못 검출’이라고 정의하고, KLT 특징점에 라벨을 부여해 겹치는 영역을 식별한다. 라벨이 다중인 경우에는 검출 박스를 여러 개의 작은 박스로 분할하고, 이전 프레임의 크기 정보를 이용해 크기를 보정한다.

외관 기반 트래커는 5가지 디스크리미네이티브 특징(2D 형태 비율, 2D 면적, 색 히스토그램, 색 공분산, 지배 색)으로 구성된다. 각 특징에 대한 유사도는 비율, EMD, 공분산 거리 등으로 계산하고, 객체 주변의 이웃 객체와의 유사도 로그값을 이용해 가중치를 동적으로 조정한다. 이 가중치는 조명 변화, 객체 밀도, 색상 유사도 등에 따라 자동으로 변하며, 특히 근접한 객체 간의 구분을 강화한다. 전역 유사도는 가중치와 개별 유사도의 곱으로 정의되고, Hungarian 알고리즘을 통해 최적 매칭을 수행한다.

KLT 트래커는 검출된 객체 내부의 KLT 특징점을 선택·추적하여, 매 프레임 간 매칭된 특징점 수를 기반으로 객체 간 유사도를 산출한다. 이때 매칭 비율을 최소값으로 정규화해, 특징점이 부족하거나 배경에 잡힌 경우에도 일정 수준의 신뢰도를 제공한다.

트래커 선택 메커니즘은 ‘온라인 추적 평가’에 기반한다. 비활성화된 트랙(최근 프레임에 매칭되지 않은 트랙)의 모델을 지난 Q 프레임의 5가지 특징 분포로 구축하고, 현재 프레임의 후보 객체가 각 모델에 속할 확률을 계산한다. 확률은 가우시안 PDF(형태·면적)와 EMD(색 히스토그램·지배 색), 공분산 거리 등을 이용한다. 두 트래커 각각에 대해 이 확률을 구한 뒤, 전체 확률이 가장 높은 트래커를 선택한다. 트래커가 모두 실패하면 일시적인 오클루전이나 검출 누락으로 판단하고, 추적을 일시 중단한다.

실험은 PETS 2009, CAVIAR, TUD 데이터셋에서 수행했으며, HOG‑ 기반 배경 차감 검출기를 사용했다. 제안 방법은 기존 NCC, Mean‑Shift, Random Forest 기반 멀티‑트래커 시스템보다 MOTA, MOTP 등 표준 지표에서 일관되게 높은 점수를 기록했다. 특히 객체가 서로 겹치거나 조명 변화가 큰 장면에서 외관 트래커와 KLT 트래커가 상호 보완적으로 작동해 추적 스위치가 효과적이었다.

전체적으로 이 논문은 (1) 검출 오류 보정, (2) 디스크리미네이티브 외관 특징 가중치 자동 조정, (3) 온라인 추적 평가 기반 트래커 선택이라는 세 가지 기여를 통해 다중 객체 추적의 견고성을 크게 향상시켰다. 다만 KLT 특징점 추출 비용과 Q 프레임 모델 업데이트 비용이 실시간 적용에 제한을 줄 수 있으며, 복잡한 장면에서 라벨링 오류가 발생할 가능성도 남아 있다. 향후 경량화와 딥러닝 기반 특징 통합이 연구 방향이 될 것이다.