텍스트 기반 온라인 행동 탐지 혁신

초록

TOAD는 CLIP 텍스트 임베딩을 활용해 RGB 영상만으로 온라인 행동을 실시간 분류하고, 제로샷·Few‑Shot 학습까지 지원하는 경량 텍스트‑드리븐 아키텍처이다. THUMOS14에서 82.46 % mAP를 달성하며 기존 트랜스포머 기반 방법들을 능가한다.

상세 분석

본 논문은 온라인 행동 탐지라는 실시간 프레임‑단위 분류 문제에 비전‑언어 모델(VLM)의 텍스트 임베딩을 효과적으로 접목시킨 TOAD(Text‑driven Online Action Detection) 구조를 제안한다. 핵심 아이디어는 CLIP의 사전학습된 텍스트 인코더에서 추출한 클래스별 텍스트 벡터를 고정된 가중치 행렬로 사용해, 영상 트랜스포머 인코더가 출력한 시공간 특징과 내적 연산만으로 로그잇을 계산한다는 점이다. 이 방식은 대규모 대비 학습이 필요했던 기존 대비 학습 비용을 크게 절감하면서도 텍스트‑비주얼 정렬을 유지한다. 영상 인코더는 CLIP 비주얼 백본으로 프레임별 특징을 추출하고, 6계층·12헤드 트랜스포머로 장기 의존성을 모델링한다. 프레임 특징을 평균 풀링해 최종 비디오 임베딩을 얻으며, 현재 행동은 텍스트 임베딩과 바로 내적해 확률을 산출한다. 미래 행동 예측을 위해 “a video of a person {action} in the future”라는 프롬프트를 사용해 별도 텍스트 벡터를 만든 뒤, 비디오 임베딩을 추가 FC 레이어(ReLU)로 변환해 미래 로그잇을 계산한다. 학습 단계에서는 비주얼·텍스트 백본을 동결하고, FC 레이어와 트랜스포머 파라미터만 교차 엔트로피 손실로 최적화한다. 손실은 현재 행동 손실과 미래 행동 손실을 가중합(λ=0)으로 구성해 현재 행동에만 초점을 맞춘다. 실험에서는 THUMOS14와 TVSeries 두 데이터셋에 대해 전통적인 전이 학습, 제로샷, Few‑Shot 설정을 모두 평가했으며, 제로샷에서는 텍스트 프롬프트만으로도 경쟁력 있는 성능을 보였다. Ablation study를 통해 (1) 프롬프트 기반 텍스트 초기화가 클래스명 단순 인코딩보다 우수함, (2) 미래 예측 모듈이 성능 향상에 기여하지만 λ를 0으로 두어도 현재 행동 성능에 큰 영향을 주지 않음을 확인했다. 전체적으로 TOAD는 VLM의 언어적 일반화 능력을 온라인 행동 탐지에 효율적으로 전이시켜, 고비용 트랜스포머 기반 방법을 대체할 수 있는 경량·다목적 솔루션을 제시한다.