시각적 움직임 예측으로 인간 선호를 모델링해 로봇 스킬 학습 강화

초록

본 논문은 인간의 egocentric 비디오에서 객체의 점 이동을 예측하는 모델을 학습하고, 이를 로봇 행동의 보상으로 활용한다. 예측된 점 이동과 실제 로봇이 만든 점 이동 사이의 정렬도를 보상으로 정의한 뒤, 소량의 온‑로봇 시연(10개)과 수정된 Soft Actor‑Critic을 결합해 정책을 최적화한다. 실험 결과, 제안 방법은 기존의 장기 가치 추정 방식보다 샘플 효율이 높으며, 시뮬레이션과 실제 로봇 모두에서 여러 과제에서 우수한 성능을 보였다.

상세 분석

본 연구는 인간 비디오와 로봇 비디오 사이의 구현 격차와 환경 격차를 극복하기 위해 “짧은‑단계 인간 선호”를 모델링한다는 새로운 관점을 제시한다. 기존 방법은 시연 영상의 마지막 프레임과의 시간적 거리를 값 함수 V(oₜ)=P(T‑t) 로 정의하고, 이를 로봇 상태에 전이하는 방식이었다. 그러나 이러한 장기 가치 추정은 인간 시연 중의 멈춤, 멀티태스킹, 비효율적 행동 등에 민감하게 편향되며, 인간‑로봇 시각 도메인 차이로 인해 전이 오류가 발생한다.

논문은 대신, 각 프레임에서 추적된 객체 마스크와 그 위에 샘플링된 점들의 위치 변화를 이용해 “점 이동 예측 모델” Fθ를 학습한다. 입력은 현재 관찰 oₜ, 현재 점 위치 Pₜ, 그리고 정규화된 진행 지표 t/T이며, 출력은 다음 프레임의 점 위치 Pₜ₊₁이다. 이 모델은 Transformer 기반으로 설계돼, 시각적 컨텍스트와 시간적 진행 정보를 동시에 처리한다. 학습 데이터는 대규모 egocentric 인간 비디오(Ego4D, Epic Kitchens 등)에서 자동 마스크와 점 트래킹을 수행해 구축한다.

보상 rₜ는 예측된 점 이동 Δp_predₜ와 실제 로봇 비디오에서 추적된 점 이동 Δp_trackₜ 사이의 코사인 유사도로 정의된다:
rₜ = max(0, (Δp_predₜ·Δp_trackₜ) / (‖Δp_predₜ‖‖Δp_trackₜ‖)).
즉, 로봇이 인간이 선호하는 “한 단계” 물체 움직임을 얼마나 재현했는지를 측정한다. 이 보상은 시점별로 독립적이므로 인간 시연 중의 비효율적 구간이 전체 보상에 미치는 영향을 최소화한다.

정책 학습은 두 단계로 구성된다. 첫 번째는 소량의 온‑로봇 시연(10개)으로 행동 복제(Behavior Cloning) 정책 π_base을 학습해 초기 탐색 능력을 확보한다. 두 번째는 수정된 Soft Actor‑Critic(SAC) 기반의 Residual RL 프레임워크를 적용한다. 여기서 기존 π_base은 고정하거나 작은 학습률로 유지하고, RL은 π_residual을 학습해 π_base에 보정한다. 보상 rₜ는 바로 위에서 정의한 점 이동 정렬도이며, 이를 통해 가치 함수 V(s)와 Q‑함수 Q(s,a)를 추정한다. SAC의 엔트로피 정규화는 탐색 효율을 높이며, 온‑로봇 데이터와 온라인 버퍼를 교대로 사용해 샘플 효율성을 극대화한다.

실험에서는 “마이크로웨이브 열기”, “컵 잡기”, “문 열기” 등 3가지 실제 로봇 과제와 동일한 과제에 대한 시뮬레이션을 수행했다. 제안 방법은 1시간 이내(실제 시간) 약 30% 이상의 성공률 향상을 달성했으며, 기존 장기 가치 기반 보상(VIP 등)보다 일관되게 높은 성공률을 기록했다. 특히, 인간 시연에 포함된 멈춤이나 비효율적 움직임이 존재할 때도 성능 저하가 거의 없었다.

핵심 기여는 (1) 인간 선호를 “점 이동 예측”이라는 저차원 시각 특징으로 추출, (2) 이를 로봇 행동에 직접적인 밀도 보상으로 변환, (3) 소량의 온‑로봇 시연과 결합한 샘플 효율적인 Residual SAC 학습 프레임워크를 제시한 점이다. 한계로는 (a) 점 트래킹 정확도에 크게 의존해 복잡한 변형 물체나 반투명 물체에 대한 적용이 어려울 수 있음, (b) 현재는 객체 마스크와 점 그리드가 사전 정의된 상황에 최적화돼 있어, 완전한 자유형 환경에서는 추가적인 인식 파이프라인이 필요하다. 향후 연구에서는 멀티모달(힘, 촉각) 정보와 결합하거나, 점 트래킹 대신 학습된 키포인트를 활용해 더욱 일반화된 보상 모델을 구축할 여지가 있다.