흐름을 따라가다 쿠프먼 행동 모델로 보는 시각운동 계획

초록

본 논문은 시각 흐름과 로봇 동작 흐름을 하나의 잠재 상태로 결합한 Unified Behavioral Models(UBM)를 제안한다. 쿠프먼 연산자를 이용해 이 잠재 공간을 선형 동역학으로 모델링함으로써, 초기 조건만으로 전체 스킬의 행동과 시각 변화를 한 번에 예측한다. 또한 예측 시각 흐름과 실제 관측 흐름의 차이를 모니터링해 필요 시 즉시 재계획하는 온라인 리플래닝 메커니즘을 도입한다. 7개의 시뮬레이션 과제와 2개의 실제 로봇 과제에서 기존 Diffusion 정책·Transformer 기반 방법들을 능가하면서 추론 속도, 연속성, 가시성 차단에 대한 강인성, 유연한 재계획을 동시에 달성한다.

상세 분석

이 연구는 기존의 시각‑모터 정책이 관측을 입력으로 즉시 행동을 출력하는 “반응형 매핑”에 머무르는 한계를 지적한다. 이러한 접근은 시간적 일관성을 확보하기 위해 고정된 길이의 액션 청크나 평균화 기법을 도입하지만, 이는 계획의 깊이와 반응성 사이에 경직된 트레이드오프를 만든다. 저자들은 이를 극복하기 위해 행동을 연속적인 동적 시스템으로 재해석한다. 구체적으로, 시각적 특징(visual flow)과 로봇의 관절 상태( action flow)를 하나의 통합된 행동 상태 ξₜ=