모션비트 강체 움직임 기반 비디오 세그멘테이션

초록

본 논문은 물리적 상호작용을 이해하기 위한 최소 단위인 “MotionBit”을 정의하고, 실제 로봇 조작 및 일상 동영상에서 움직이는 강체를 정확히 구분·추적할 수 있는 새로운 벤치마크 MoRiBo와 학습 없이 동작하는 그래프 기반 세그멘테이션 알고리즘을 제시한다. 제안 방법은 기존 의미 기반 모델 대비 매크로 평균 mIoU에서 37.3% 향상되었으며, 다운스트림 로봇 조작 및 비전‑언어 모델에 유용함을 실험으로 입증한다.

상세 분석

MotionBit 개념은 강체의 움직임을 가장 작은 의미 단위로 보는 새로운 패러다임이다. 기존의 의미 기반 세그멘테이션은 사전 정의된 클래스에 의존해 물체를 구분하지만, 물리적 상호작용을 파악하려면 동일한 강체가 보이는 모든 픽셀을 동일한 마스크로 묶어야 한다. 이를 위해 저자들은 ‘공간 트위스트(spatial twist)’라는 6차원 운동량 표현을 도입한다. 각 픽셀(또는 포인트)의 바디 트위스트