동적 쿼리를 이용한 효율적인 행동 반복 횟수 측정 기술

초록

비디오 내 반복 동작을 선형 복잡도로 빠르고 정확하게 찾아내는 새로운 액션 쿼리 기반 카운팅 기술을 제안합니다.

상세 분석

기존의 행동 반복 카운팅(Temporal Repetition Counting) 연구들은 비디오 프레임 간의 유사도 행렬(Similarity Correlation Matrix)을 계산하여 동작의 반복성을 파악하는 방식을 주로 사용해 왔습니다. 그러나 이 방식은 프레임 수의 제곱에 비례하는 연산량($O(N^2)$)을 요구하므로, 프레임 수가 많은 긴 영상이나 고해상도 영상에서는 계산 비용이 기하급수적으로 증가하여 실시간 적용이 불가능하다는 치명적인 한계가 있습니다.

본 논문은 이러한 병목 현상을 해결하기 위해 ‘액션 쿼리 표현(Action Query Representation)‘이라는 혁신적인 패러다임을 제시합니다. 이 방식은 모든 프레임 쌍을 비교하는 대신, 특정 액션을 나타내는 쿼리가 비디오 특징을 직접 참조하도록 설계되어 연산 복잡도를 선형 복잡도($O(N)$)로 획기적으로 낮추었습니다. 기술적으로 가장 주목할 점은 ‘동적 업데이트 스킴(Dynamic Update Scheme)‘입니다. 이는 고정된 쿼리에 의존하는 기존 방식과 달리, 비디오의 특징을 쿼리에 실시간으로 임베딩하여 쿼리를 동적으로 변화시킵니다. 이를 통해 모델은 학습 과정에서 보지 못한 새로운 동작(Open-set)에 대해서도 유연하게 대응할 수 있는 일반화 능력을 갖추게 됩니다.

또한, ‘쿼리 간 대조 학습(Inter-query Contrastive Learning)‘을 도입하여, 서로 다른 액션 쿼리 간의 특징 차이를 극대화함으로써 배경 노이즈와 실제 관심 동작을 명확히 분리해내는 강력한 규제(Regularization) 효과를 달성했습니다. 이러한 구조적 혁신은 연산 효율성과 정확도라는 상충하는 두 목표를 동시에 달성하며, 긴 영상 분석의 새로운 표준을 제시합니다.

비디오 내에서 특정 동작이 몇 번 반복되었는지를 정확히 파악하는 ‘시간적 반복 카운팅(Temporal Repetition Counting)‘은 자율 주행, 스포츠 분석, 제조 공정 모니터링, 의료 영상 분석 등 다양한 산업 분야에서 매우 중요한 기술입니다. 그러나 기존의 기술들은 비디오 내 모든 프레임 간의 유사도를 비교하는 상관 행렬 방식에 의존해 왔습니다. 이는 프레임 수가 늘어날수록 연산량이 제곱으로 증가하는 치명적인 단점이 있어, 초 단위가 아닌 분 단위 이상의 긴 영상이나 고해상도 영상 분석에는 적용하기 매우 어려웠습니다.

본 논문에서 제안하는 ‘Efficient Action Counting with Dynamic Queries’는 이러한 계산 효율성 문제를 해결하기 위해 완전히 새로운 접근 방점을 제시합니다. 연구진은 유사도 행렬을 계산하는 대신 ‘액션 쿼리(Action Query)‘라는 개념을 도입했습니다. 이는 비디오의 특징을 쿼리 형태로 변환하여, 연산 복잡도를 프레임 수에 비례하는 선형 복잡도($O(N)$)로 획기적으로 낮추는 데 성공했습니다. 이는 대규모 영상 데이터 처리 시 연산 비용을 혁신적으로 절감할 수 있음을 의미합니다.

기술적 핵심은 두 가지 핵심 모듈에 있습니다. 첫째, ‘동적 업데이트 스킴(Dynamic Update Scheme)‘입니다. 기존 방식은 특정 동작에 대해 고정된 쿼리를 사용했기 때문에 학습 데이터에 없는 새로운 동작을 감지하는 데 한계가 있었습니다. 반면, 제안된 방식은 비디오의 특징을 쿼리에 동적으로 임베딩하여 쿼리를 업데이트합니다. 이를 통해 ‘오픈셋(Open-set)’ 상황, 즉 학습되지 않은 새로운 동작이 나타나더라도 유연하게 대응할 수 있는 강력한 일반화 성능을 확보했습니다.

둘째, ‘쿼리 간 대조 학습(Inter-query Contrastive Learning)‘입니다. 비디오에는 우리가 찾고자 하는 동작 외에도 수많은 배경 노이즈와 무관한 움직임이 포함되어 있습니다. 연구진은 서로 다른 액션 쿼리 간의 차이를 극대화하는 대조 학습 기법을 적용하여, 관심 동작과 배경 노이즈를 명확히 구분할 수 있도록 모델을 학습시켰습니다.

실험 결과는 매우 압도적입니다. RepCountA 벤치마크에서 기존의 최첨단(SOTA) 모델인 TransRAC과 비교했을 때, OBO 정확도(OBO accuracy) 면에서 26.5%라는 놀라운 성능 향상을 기록했습니다. 또한 평균 오차(Mean Error)를 22.7% 감소시켰을 뿐만 아니라, 연산 부담(Computational Burden)을 무려 94.1%나 줄이는 데 성공했습니다. 이는 본 기술이 매우 긴 영상이나 고해상도 영상에서도 실시간에 가까운 효율로 동작할 수 있음을 시사합니다. 결과적으로, 이 연구는 다양한 속도의 동작과 처음 보는 동작에 대해서도 강력한 성능을 발휘하며, 비디오 분석 기술의 실용적 한계를 극복한 중요한 이정표를 세웠다고 평가할 수 있습니다.