소프트 핸드 동역학 학습을 위한 행동조건 그래프 신경망

초록

본 논문은 연성 로봇 손의 비강체 운동학 체인을 그래프 형태로 모델링하고, 관찰된 키포인트와 구동 신호를 이용해 시스템 연결 구조를 자동으로 추정한 뒤, 해당 그래프를 활용해 미래 상태를 예측하는 행동조건 그래프 신경망(Sensorimotor Graph)을 제안한다. 실험을 통해 기존 비구조화 모델 대비 예측 정확도가 향상되고, 구성 변화·추적 오류·노드 손실에 대한 강인성을 보였다.

상세 분석

이 연구는 연성 로봇 손의 복잡한 변형을 물리 기반 모델링 없이 데이터‑드리븐 방식으로 다루기 위해 두 가지 핵심 아이디어를 결합한다. 첫 번째는 인간 영아가 수행하는 ‘센서모터 바블링’처럼 무작위 구동 신호를 가해 시스템의 내부 구조를 탐색한다는 점이다. 두 번째는 그래프 신경망(GNN)의 구조적 귀납 편향을 이용해 시스템을 ‘노드(키포인트)’와 ‘엣지(상호작용)’로 명시적으로 표현한다는 점이다.

구현 측면에서 논문은 Neural Relational Inference(NRI) 프레임워크를 확장한다. 인코더는 관측된 노드 궤적과 구동 신호를 입력으로 받아 완전 연결 그래프 상에서 반복적인 노드→엣지, 엣지→노드 메시지 패싱을 수행한다. 각 엣지는 존재 확률을 출력하며, 소프트맥스와 온도 파라미터 τ를 이용해 연속적인 근사 샘플링을 가능하게 한다. 이 과정은 지도 학습(엣지 라벨 제공) 혹은 비지도 학습(엔드‑투‑엔드 최적화) 모두에 적용 가능하도록 설계되었다.

디코더는 인코더가 추정한 엣지 확률 분포를 고정된 그래프 구조로 활용한다. 여기서 각 엣지는 행동 신호와 결합된 임베딩 함수 ˜f_k^e 로 변환되고, 노드에 집계된 후 ˜f^v 를 통해 다음 시점의 평균 µ와 분산 σ²를 계산한다. 이렇게 얻어진 정규 분포에서 샘플링된 노드 상태가 다음 타임스텝의 입력이 되어 순환적으로 미래 궤적을 생성한다. 행동 신호는 모든 노드에 동일하게 제공되거나, 노드‑액션 매핑을 학습하도록 설계될 수 있어, 실제 로봇 시스템에서의 제어 입력과 직접 연결된다.

실험에서는 SOFA 물리 시뮬레이터를 이용해 다양한 강성·마찰·구성 변화를 가진 소프트 그리퍼 데이터를 생성하였다. 제안 모델은 (1) 기본 LSTM·MLP 기반 비구조화 베이스라인, (2) 고정 그래프 GNN, (3) 완전 연결 NRI 등과 비교했을 때 평균 위치 오차와 에너지 보존 측면에서 우수한 성능을 보였다. 특히 노드가 일부 손실되거나 순서가 뒤바뀌는 상황에서도 그래프 메시지 패싱의 순서 불변성 덕분에 예측 정확도가 크게 저하되지 않았다.

핵심 기여는 (i) 연성 로봇 시스템에 적용 가능한 행동조건 그래프 모델 제안, (ii) 엣지 구조를 자동 추정하면서 행동 신호를 통합한 차별화된 디코더 설계, (iii) 모델 기반 제어를 위한 미분 가능한 동역학 모델 제공이다. 한계점으로는 실제 물리 하드웨어에서의 실시간 추론 비용과, 키포인트 추출 정확도에 크게 의존한다는 점이 있다. 향후 연구에서는 하드웨어 구현, 온라인 학습, 그리고 복합적인 접촉 환경을 고려한 확장 모델이 필요하다.