시각과 고유감각 정책이 로봇 조작에서 실패하는 경우

초록

본 논문은 시각‑고유감각(vision‑proprioception) 기반 조작 정책이 동작 전이 단계에서 시각 정보를 충분히 활용하지 못해 일반화 성능이 저하되는 원인을 분석한다. 저자는 학습 과정에서 고유감각 신호가 손실 감소에 더 크게 기여하면서 시각 모달리티의 학습을 억제한다는 사실을 발견하고, 이를 해결하기 위해 ‘Gradient Adjustment with Phase‑guidance (GAP)’ 알고리즘을 제안한다. GAP은 로봇의 움직임을 고유감각으로 표현하고, 변곡점 탐지를 통해 동작 전이 구간을 추정한 뒤, 해당 구간에서 고유감각의 그래디언트를 감소시켜 시각 정보가 더 많이 학습되도록 조정한다. 실험 결과, 시뮬레이션·실제 환경, 단일·이중 팔, 그리고 Vision‑Language‑Action 모델까지 다양한 설정에서 GAP이 기존 방법보다 일관되게 성능을 향상시킴을 보인다.

상세 분석

이 논문은 로봇 조작에서 시각과 고유감각을 동시에 활용하는 멀티모달 정책이 왜 때때로 기대 이하의 일반화 성능을 보이는지에 대한 근본 원인을 체계적으로 파악한다. 먼저 저자는 ‘모달리티 일시성(modality temporality)’이라는 개념을 도입한다. 이는 작업이 진행되는 동안 시각과 고유감각의 상대적 중요도가 시간에 따라 변한다는 뜻이다. 구체적으로, 로봇이 지속적인 움직임을 수행하는 ‘동작 일관성 단계(motion‑consistent phase)’에서는 고유감각이 로봇 상태를 정확히 전달해 빠른 제어를 가능하게 하므로 학습 손실을 크게 감소시킨다. 반면, 목표 물체를 새롭게 인식하거나 위치를 재조정해야 하는 ‘동작 전이 단계(motion‑transition phase)’에서는 시각 정보가 필수적이다. 그러나 학습 과정에서 손실 함수는 주로 액션과의 차이(MSE)로 정의되며, 고유감각은 저차원·연속적인 값으로 시각보다 손실 감소에 더 직접적으로 기여한다. 결과적으로 그래디언트가 고유감각 파라미터에 편중되고, 시각 파라미터(ω_v)의 업데이트는 상대적으로 약해진다. 이는 ‘프로프리오셉션 우세(proprioception dominance)’ 현상으로, 전이 단계에서 시각 모달리티가 충분히 학습되지 않아 테스트 시 물체 위치가 변하거나 조명·배경이 달라질 때 성능이 급격히 떨어지는 원인이다.

이를 해결하기 위해 제안된 GAP 알고리즘은 세 단계로 구성된다. 1) 동작 표현: 로봇의 6‑DOF 위치·방향과 그리퍼 개방 정도(g)를 이용해 시간 구간 간 차분(m_i:j)을 정의하고, 이를 로봇의 움직임 벡터로 삼는다. 2) 전이 단계 추정: 변화점 탐지(Change Point Detection, CPD)를 적용해 동작 일관성 구간을 구분하고, 각 구간 사이의 코사인 거리와 개방도 부호 일치를 이용해 비용 함수를 설계한다. CPD는 이산적인 전이 라벨을 제공하지만, 실제 전이는 연속적이므로 LSTM 기반의 시계열 네트워크가 Δs_i (고유감각 차분) 를 입력받아 전이 구간에 대한 확률 ρ_i 를 예측한다. 3) 그래디언트 조정: ρ_i 가 높을수록(전이 단계일수록) 고유감각 파라미터 ω_s 에 대한 그래디언트를 스케일링 팩터 α·(1‑ρ_i) 로 감소시킨다. 이렇게 하면 손실이 고유감각에 의해 과도히 감소되는 현상을 억제하고, 시각 인코더 ϕ_v 가 전이 단계의 미세한 시각 변화를 학습하도록 유도한다.

실험에서는 RoboSuite, MetaWorld, 실제 로봇(UR5, Dual‑Arm) 등 다양한 벤치마크와 작업(조립, 잡기‑놓기, 회전, 연성 물체 조작)을 사용했다. 정책 아키텍처는 MLP, Diffusion, Transformer 기반을 포함했으며, Vision‑Language‑Action 모델에도 GAP을 적용해 동일한 개선 효과를 확인했다. 정량적으로는 성공률이 평균 12‑18%p 상승했으며, 특히 OOD(Out‑of‑Distribution) 상황에서 시각‑고유감각 결합 정책이 순수 시각 정책보다 크게 앞섰다. 정성적 분석에서는 전이 단계에서 시각 피처의 활성도가 증가하고, 고유감각 피처의 영향력이 적절히 억제되는 것을 시각화하였다.

이 논문의 주요 기여는 (1) 고유감각이 손실 감소에 과도히 기여해 시각 학습을 억제한다는 최적화 관점을 제시, (2) 로봇 동작을 고유감각 기반으로 정량화하고 변곡점 탐지를 통해 전이 구간을 자동 추정하는 방법을 제안, (3) 전이 구간에 대한 그래디언트 스케일링으로 멀티모달 협업을 동적으로 조절하는 GAP 알고리즘을 도입, (4) 다양한 환경·시나리오·아키텍처에 걸친 광범위한 실증을 통해 일반화 가능성을 입증했다는 점이다. 앞으로는 더 정교한 전이 단계 예측 모델, 비선형 손실 함수와의 결합, 그리고 인간‑로봇 협업 상황에서의 적용이 기대된다.