긴 영상 속 복잡한 행동을 정밀하게 찾아내는 혁신적 기술 MS-Temba

초록

상세 분석

본 논문은 Temporal Action Detection(TAD) 분야에서 기존의 CNN 및 Transformer 기반 모델들이 직면한 근본적인 한계를 해결하기 위해 State-space Model(SSM)인 Mamba를 혁신적으로 적용한 MS-Temba를 제안합니다.

가장 핵심적인 기술적 도전 과제는 ‘장기 의존성(Long-range dependency)‘과 ‘미세한 시간적 구조(Fine-grained temporal structure)’ 사이의 트레이드오프입니다. 기존 Transformer 모델은 긴 영상 처리 시 연산 복잡도가 시퀀스 길이의 제곱에 비례하여 급증하는 문제가 있으며, 반대로 이를 해결하기 위해 도입된 초기 Mamba 적용 방식은 긴 맥락을 파악하는 데는 유리하지만, TAD에 필수적인 짧고 세밀한 행동 경계(Action boundary) 정보를 손실시키는 ‘구조적 붕괴’ 현상을 야기합니다.

이를 해결하기 위해 저자들은 ‘Dilated SSM(팽창된 SSM)‘을 도입했습니다. 이는 서로 다른 확장 비율을 가진 SSM을 병렬적으로 배치하여, 모델이 아주 짧은 순간의 움직임부터 긴 시간 동안 지속되는 행동의 흐름까지 다양한 시간적 해상도(Temporal scales)를 동시에 학습할 수 있도록 설계되었습니다. 또한, 단순히 특징을 추출하는 데 그치지 않고, ‘Multi-scale Mamba Fuser’라는 새로운 구조를 제안했습니다. 이 퓨저는 SSM 기반의 어그리게이션(Aggregation) 메커니즘을 통해 서로 다른 스케일에서 추출된 특징들을 효율적으로 통합하여, 행동의 시작과 끝을 매우 정밀하게 국지화(Localization)할 수 있게 합니다.

결과적으로 MS-Temba는 단 17M이라는 매우 가벼운 파라미터 수로도 기존의 거대 모델들을 압도하는 성능을 보여주며, 이는 모델의 효율성과 정확도라는 두 마리 토끼를 모두 잡은 설계임을 입증합니다.

현대 비디오 이해 기술의 핵심 과제 중 하나는 편집되지 않은 긴 영상(Untrimmed Video)에서 특정 행동이 언제 시작되고 언제 끝나는지를 정확히 찾아내는 Temporal Action Detection(TAD)입니다. 특히 일상생활(ADL) 영상의 경우, 행동이 매우 길게 지속되거나 여러 행동이 서로 겹쳐서 발생하는 경우가 많아 모델에게 매우 높은 수준의 시공계적 이해력을 요구합니다.

기존의 연구들은 주로 CNN이나 Transformer 아키텍처에 의존해 왔습니다. CNN은 국소적인 특징 추출에는 강하지만 긴 맥락을 놓치기 쉽고, Transformer는 강력한 전역적 문맥 파악 능력을 갖췄지만 영상이 길어질수록 연산량이 기하급수적으로 늘어나는 치명적인 단점이 있습니다. 최근 주목받는 Mamba(SSM) 구조는 선형적인 연산 복잡도를 통해 긴 시퀀스 처리에 강점을 보이지만, 이를 TAD에 그대로 적용할 경우 미세한 시간적 변화를 포착하지 못하는 문제가 발생합니다.

본 논문에서 제안하는 MS-Temba(Multi-Scale Temporal Mamba)는 이러한 문제를 해결하기 위해 세 가지 핵심 메커니즘을 제안합니다.

첫째, ‘Dilated SSM’의 도입입니다. 저자들은 SSM의 수용 영역(Receptive field)을 다각화하기 위해 팽창된(Dilated) 구조를 적용했습니다. 이를 통해 모델은 짧은 프레임 간의 변화부터 긴 시간 흐름에 따른 행동의 변화까지, 다양한 시간적 스케일에서 특징을 추출할 수 있습니다. 이는 행동의 미세한 경계를 놓치지 않으면서도 전체적인 맥락을 유지하게 해줍니다.

둘째, ‘Temba Block’과 특화된 손실 함수(Loss)의 결합입니다. 각 Temba 블록은 팽창된 SSM과 함께, 모델이 더욱 변별력 있는 표현(Discriminative representations)을 학습할 수 있도록 설계된 추가적인 손실 함수를 포함합니다. 이는 모델이 단순한 특징 추출을 넘어, 행동의 경계를 명확히 구분할 수 있는 능력을 배양합니다.

셋째, ‘Multi-scale Mamba Fuser’입니다. 다양한 스케일에서 추출된 특징들은 서로 다른 해상도를 가집니다. MS-Temba는 이들을 통합하기 위해 SSM 기반의 퓨징 메커니즘을 사용합니다. 이 퓨저는 각 스케일의 정보를 SSM 방식으로 정교하게 결합하여, 최종적으로 행동의 정확한 경계를 찾아내는 정밀한 로컬라이제이션을 가능하게 합니다.

실험 결과는 놀랍습니다. MS-Temba는 단 17M개의 파라미터만을 사용함에도 불구하고, 일상생활 행동 탐지 벤치마크인 TSU와 Charades에서 기존의 거대 모델들을 제치고 SOTA(State-of-the-art) 성능을 달성했습니다. 또한, 이 모델의 범용성은 긴 영상 요약(Video Summarization) 작업에서도 증명되었습니다. TVSum 및 SumMe 데이터셋에서도 새로운 최고 기록을 세우며, MS-Temba가 단순한 행동 탐지를 넘어 긴 영상의 핵심 내용을 이해하는 데 매우 강력한 도구임을 입증했습니다. 이는 향후 자율 주행, 보안 관제, 의료 영상 분석 등 긴 영상 분석이 필수적인 다양한 IT 분야에 혁신적인 변화를 가져올 수 있음을 시사합니다.