단일 프레임으로 행동 예측의 한계와 가능성

초록

본 논문은 하나의 시각적 관찰에 깊이와 과거 행동의 의미적 정보를 결합해 행동 예측을 수행하는 프레임워크 AAG+를 제안한다. RGB, 깊이, 행동 히스토리 세 가지 모달리티의 기여도를 체계적으로 분석하고, 다양한 융합 전략·키프레임 선택 정책·히스토리 복원 방식을 실험한다. 결과적으로 AAG+는 단일 프레임만을 사용하면서도 기존 비디오 기반 최첨단 모델과 동등하거나 우수한 성능을 보이며, 절차적 작업 데이터셋(IKEA‑ASM, Meccano, Assembly101)에서 실용성을 입증한다.

상세 분석

본 연구는 “단일 프레임 행동 예측”이라는 새로운 패러다임을 제시한다. 기존 영상 기반 예측은 긴 시간 창을 순차적으로 처리해 높은 연산 비용과 복잡한 시간 모델링을 요구한다. 저자들은 이러한 한계를 극복하기 위해 하나의 이미지에 깊이 지도와 과거 행동의 의미적 요약을 추가함으로써, 시간 정보를 압축된 형태로 제공한다.
먼저 RGB 모달리티는 DINOv3 기반 비전 트랜스포머로 인코딩되어 풍부한 공간적 특징을 추출한다. 깊이 정보는 최신 “Depth Anything v2” 모델을 이용해 추정하고 색상화한 뒤, 동일한 비전 트랜스포머에 입력해 기하학적 구조를 보강한다. 행동 히스토리는 두 가지 경로로 생성된다. 하나는 사전 학습된 단일 프레임 행동 인식 모델을 통해 과거 N개의 가장 가능성 높은 행동 라벨을 추출하는 방식이며, 다른 하나는 최신 비전‑언어 모델(VLM)에게 현재 프레임을 프롬프트와 함께 제공해 텍스트 형태의 과거 행동 서열을 생성한다. 프롬프트 설계에 따라 구체성·맥락 제공 정도를 조절함으로써 히스토리의 정확도와 일관성을 실험적으로 검증한다.
다중 모달리티 융합에서는 단순 연결(concatenation)부터 교차 주의(cross‑attention) 기반 게이트형 융합까지 네 가지 전략을 비교한다. 실험 결과, 교차 주의와 게이트 메커니즘을 결합한 “Bidirectional Cross‑Attention with Gated Fusion”이 가장 높은 성능을 보이며, 이는 서로 다른 모달리티가 상호 보완적으로 작용하도록 동적으로 가중치를 조정하기 때문이다. 또한 키프레임 선택 정책을 도입해 프레임의 시점·시점별 가시성(blur, occlusion) 등을 고려한다. 정책 중 “가장 큰 객체 변형”과 “시점별 시각적 명료도”를 결합한 방법이 가장 안정적인 결과를 제공한다.
실제 시스템에서는 행동 히스토리가 완전하지 않을 수 있기에, 저자들은 “stochastic corruption operator”를 도입해 히스토리 라벨에 랜덤 노이즈를 주입하고, 모델이 불완전한 히스토리에도 강인하도록 학습한다. 이 기법은 특히 VLM 기반 히스토리가 텍스트 생성 오류를 포함할 때 효과적이다.
다양한 절차적 데이터셋에서 수행된 실험은 AAG+가 기존 AAG 대비 Top‑1 정확도 3~5% 향상을 달성했으며, 비디오 기반 최신 모델(TempAgg, AVT 등)과 비교해 0.5% 이하의 격차만을 보였다. 특히 IKEA‑ASM과 같은 정형화된 조립 작업에서는 AAG+가 비디오 모델을 능가하는 경우도 관찰되었다. 이는 단일 프레임에 포함된 풍부한 기하학·시맨틱 정보가 충분히 미래 행동을 예측하는 데 기여함을 의미한다.
전체적으로 본 논문은 (1) RGB, 깊이, 행동 히스토리의 상호 보완성을 정량화, (2) 융합 전략과 키프레임 선택이 성능에 미치는 영향을 체계적으로 분석, (3) 불완전한 히스토리에도 강인한 학습 기법을 제시함으로써, 단일 프레임 기반 행동 예측이 실제 응용에서 비디오 기반 접근을 대체하거나 보완할 수 있음을 입증한다.