소프트 바디 조작을 위한 실시뮬 뉴럴 시뮬레이터 SoMA

초록

SoMA는 다중 뷰 RGB 영상과 로봇 관절 데이터를 이용해 3D Gaussian Splat 형태로 변형 가능한 물체를 재구성하고, 로봇 행동에 조건화된 힘 기반 뉴럴 시뮬레이터를 통해 장시간 안정적인 변형 시뮬레이션을 수행한다. 기존 물리 기반 혹은 순수 데이터 기반 시뮬레이터가 갖는 파라미터 추정 어려움과 일반화 한계를 극복하고, 실제 로봇 조작 환경에서 20% 이상의 재시뮬레이션 정확도 향상과 장시간 옷 접기와 같은 복합 작업을 안정적으로 구현한다.

상세 분석

SoMA는 변형 가능한 물체를 Gaussian Splat(GS)이라는 입자 기반 표현으로 모델링한다. 각 splat는 위치 x, 공분산 Σ, 질량 m, 추가 물리 속성 a 로 정의되며, 이들을 계층적 그래프 구조로 클러스터링해 다중 스케일 정보를 보존한다. 계층적 그래프 신경망은 상위 클러스터에서 예측된 변위와 회전을 하위 노드에 전파함으로써 전역적인 움직임과 국부적인 변형을 동시에 학습한다.

핵심 혁신은 로봇 관절 공간의 행동을 직접 시뮬레이션 입력으로 사용한다는 점이다. 로봇의 전방 운동학(FK)을 통해 얻은 엔드 이펙터 pose와 그리퍼 개방 상태 cₜ를 시뮬레이션 좌표계에 매핑하고, 이를 기반으로 로봇‑물체 상호작용을 그래프 기반 인터랙션 모듈 Φθ가 힘 f_rob_i 로 변환한다. 환경력은 중력과 지면 지지력을 f_env_i 로 모델링하며, 거리 d_i 에 따라 지지력 적용 여부를 결정한다. 이렇게 정의된 총 힘 f_i 는 각 계층에서 뉴럴 다이내믹스 모델 ψθ에 입력돼 선형·각속도 (v_i, ω_i) 를 예측하고, 다음 시점의 splat 상태를 업데이트한다.

학습은 두 단계의 멀티‑해상도 전략으로 진행된다. 첫 단계에서는 큰 시간 간격(k)으로 전역 움직임을 학습해 장기적인 동역학 구조를 획득하고, 두 번째 단계에서는 작은 간격(1)으로 세밀한 접촉·가려짐 상황을 정교화한다. 손실 함수는 렌더링된 이미지와 실제 관측 이미지 간의 L2 손실 외에, 물리적 일관성을 강화하기 위한 힘·운동량 보존 제약을 블렌딩한다. 이러한 설계는 장시간 시뮬레이션 시 발생할 수 있는 드리프트나 붕괴 현상을 억제한다.

실험에서는 공개된 변형 물체 데이터셋과 저자들이 새로 수집한 다중 뷰 RGB + 관절 데이터셋을 사용해 SoMA를 평가했다. PSNR 기준으로 기존 GS‑Dynamics(≈26.5 dB) 대비 27.6 dB를 기록했으며, 실제 로봇 조작 재시뮬레이션 정확도가 20% 향상되었다. 특히, 훈련에 포함되지 않은 새로운 옷 접기 시퀀스에서도 안정적인 변형을 재현해 장기적인 정책 학습에 유용함을 보였다.

SoMA는 물리 기반 파라미터 추정의 어려움, 순수 데이터 기반 모델의 일반화 한계, 그리고 로봇‑물체 상호작용을 별도로 처리하던 기존 접근법을 통합적으로 해결한다. Gaussian Splat이라는 연속적인 표현과 힘‑기반 뉴럴 다이내믹스를 결합함으로써, 시각적 관측만으로도 실제 로봇 조작 환경을 고충실도로 재현할 수 있다.