서비스 로봇이 요리나 청소와 같은 일상적인 작업을 돕기 위해서는 식기세척기, 문, 뽑아쓰는 찬장 등과 같은 일반적인 가구의 조작에 능해야 합니다. 이러한 물체를 조작하려면 로봇은 그물체의 연결 방식을 이해해야 하며, 이를 분석 모델(예: 회전 관절, 선형 관절 또는 나사 관절)로 표현하거나 신경망을 통해 암시적으로 학습하는 방법이 있습니다. 최근 많은 연구에서는 점 클라우드 측정을 사용하여 가동부 물체의 조작 가능성을 예측하는 데 깊은 신경망을 어떻게 활용할 수 있는지를 보여주었습니다.

이를 위해 일반적인 주거 환경에서 볼 수 있는 연결된 물체는 시뮬레이션에서 무작위 상태로 렌더링되어 학습 데이터의 예제가 됩니다. 대부분의 주거 환경에서는 신뢰할 수 있고 반복 가능한 가동부가 있어 (예: 냉장고 문), 이러한 학습 모델은 실제 데이터에 효과적으로 일반화됩니다. 그러나 시각적 자료만으로 연결을 예측하는 것은 종종 불확실성이 있습니다.

예를 들어, Fig. 1에 있는 선반은 닫혀 있을 때 같은 모양의 네 개의 문을 가지고 있습니다. 사람이나 로봇이 시각만으로 그 연결 방식을 예측하는 것은 불가능합니다. 그러나 인간이나 로봇이 상호작용하면서 각 문이 완전히 다른 방법으로 열리는 것을 알게 됩니다.

본 연구에서는 기존 작업에서 크게 개선된 방법론을 제시하고자 합니다. 이 첫 번째 개선 사항은 예측에 불확실성을 고려하는 신경망과 요인 그래프에 학습된 연결 방식을 통합하는 완전히 새로운 방법입니다. 또한, 요인 그래프에는 상호작용 중에 추정값을 실시간으로 업데이트하기 위한 운동학적 센싱 및 힘 센싱이 포함됩니다. 결과적으로 견고한 다모달 연결 방식 추정 프레임워크가 생성됩니다.

• 본 연구에서는 시각과 본능적인 감각을 사용하여 요인 그래프 프레임워크에서 실시간으로 연결 매개변수를 추정하는 방법론을 제시합니다. 이는 불확실성을 고려한 연결 요인이 추가되어 더 견고한 예측이 가능하게 하는 기존 작업보다 크게 개선되었습니다.
• 또한, 새로운 힘 센싱 요인을 도입하여 연결 방식을 추정합니다.
• 시각적으로 모호한 연결 방식을 열 수 있는 전체 시스템 통합을 보여줍니다.
• 본 연구는 광범위한 실제 실험을 통해 검증되었으며, Fig. 1에 있는 선반의 모든 문을 열 수 있음을 보여줍니다.

관련 연구

이 섹션에서는 가동부 물체를 추정하는 데 대한 관련 작업을 정리합니다. 이는 컴퓨터 비전과 로봇공학에서 다양한 방식으로 조사된 어려운 문제입니다. 본 연구에서는 로봇의 가동부 물체 조작에 대해 다룹니다.

상호작용적 인지

상호작용적 인지는 로봇이 환경과 상호작용하면서 정보를 수집함으로써 인식을 크게 개선할 수 있다는 원칙입니다. 이를 가동부 추정에도 많이 적용되었습니다. 로봇이 가동부 물체를 잡고 움직이기 시작하면, 연결 매개변수를 추론하는 데 사용할 수 있는 다양한 정보 소스가 있습니다. 오늘날, 많은 작업들이 초기 잡는 위치와 당기는 방향을 식별하는 어려움 때문에 본능적인 감각을 사용하여 가동부를 예측하지 않습니다.

2010년에는 사전에 알려진 잡는 자세와 초기 열기 힘 벡터를 가정함으로써 문제를 단순화했습니다. 이 방법은 로봇이 물리적으로 가동부 물체와 상호작용하면서 좋은 초기 움직임 방향을 제공하면 본능적인 감각만으로 대부분의 가동부 물체를 조작할 수 있음을 보여주었습니다.

최근 연구에서는 본능적 감각이 시각과 결합되거나 단순히 시각만 사용됩니다. 이는 연결 유형과 연결 매개변수를 주어진 움직이는 가동부의 자세 트레일을 통해 최대화하는 확률론적 프레임워크를 제시합니다. 이들은 여러 센싱 방법, 특히 fiducial 마커의 시각 추적, 깊이 이미지 기반의 마커 없는 추적 및 운동학적 감각을 사용하여 움직이는 부분의 트레일을 추적하는 것을 보여줍니다.

후속 작업은 주로 시각적 인지를 중점으로 두었습니다. 이들은 상호작용 과정에서 시각 기능을 추적하기 위해 번들 조정을 사용했습니다. 또한, 힘/토크 센싱, 소프트 로봇 손의 햅틱 감각 및 엔드-이펙터 자세 측정과 결합하여 실시간으로 가동부를 추정하는 프레임워크를 제시했습니다.

모든 이러한 상호작용적 인지 방법은 사전 잡는 위치와 연결에 대한 좋은 초기 추측을 필요로 합니다. 본 연구에서는 시각 예측과 운동학적 감각을 결합한 요인 그래프를 사용하여 초기 추정값을 자동으로 제공합니다.

학습 기반 가동부 예측

최근 많은 작업들이 단순히 깊은 학습을 통해 오직 시각 정보만을 사용하여 연결을 예측하는 방법을 조사했습니다. 이러한 작업들은 PartNet-Mobility 데이터셋과 같은 시뮬레이션 데이터셋을 사용합니다.

이러한 학습 기반의 작업들은 초기에는 객체를 분류하여 연결을 예측했지만, 최근에는 비분류적 가동부 가능성을 학습하는 것에 중점을 두었습니다. 이를 통해 사용자가 물체와 상호작용할 수 있는 방법을 시각적으로 구별하지 않고도 파악합니다.

시스템

본 연구에서는 단순히 추정 방법뿐만 아니라 실시간으로 가동부를 열 수 있는 전체 시스템을 제공하고자 합니다. 따라서, 본 연구는 또한 가동부 물체 조작을 위한 시스템을 개발한 관련 작업에 대해 논의합니다.

나사 이론 배경

나사 이론은 첨단 기하학적 해석으로서 모든 경직체 운동(Chasles 정리)를 표현할 수 있습니다. 나사 움직임은 $`\xi = ( \mathbf{v}, \boldsymbol{\omega}), \text{where} ~ \mathbf{v}, \boldsymbol{\omega}\in \mathbb{R}^3`$로 매개변수화됩니다.

• $\mathbf{v}$는 선형 운동을 나타내고, `$\boldsymbol{\omega}`$는 회전을 나타냅니다.
• 이를 $\mathrm{SE}(3)$의 접면 공간으로 변환하기 위해 $`\hat{\xi}`$를 사용합니다:

\begin{equation}
    \label{eq:xi_hat}
    \hat{\xi} = \begin{bmatrix}
    \hat{\boldsymbol{\omega}} & \mathbf{v}\\
    0 & 0
\end{bmatrix} \in \mathfrak{se}(3),
\end{equation}

• $\hat{(\cdot)}`$는 다음으로 정의됩니다:

\begin{equation}
    \label{eq:hat}
    \hat{\boldsymbol{\omega}} = \begin{bmatrix}
    0 & -\omega_z & \omega_y\\
    \omega_z & 0 & -\omega_x\\
    -\omega_y & \omega_x & 0
\end{bmatrix}.
\end{equation}

• 나사 이론에서 $\xi$는 움직임 방향의 매개변수화이며, $`\theta`$는 움직임 양을 나타내는 부호 체인 스칼라입니다.
• 순수 회전 경우 $\theta`$는 라디안 단위이고, 순수 이동 경우 미터 단위입니다.