WheelArm 시뮬레이터: 휠체어와 로봇팔 통합 제어를 위한 합성 데이터 생성 플랫폼

초록

본 논문은 휠체어와 Kinova Gen3 로봇팔을 결합한 WheelArm 시스템을 가상 환경에서 구현한 WheelArm‑Sim을 소개한다. Isaac Sim 기반의 물리‑정밀 시뮬레이션과 ROS2 기반 텔레오퍼레이션 파이프라인을 통해 13개의 ADL 과제, 232개의 궤적, 총 67,783개의 멀티모달 샘플을 수집하였다. 수집된 데이터로 mustard‑picking 과제에 LSTM 기반 베이스라인 모델을 학습시켜, 통합 제어를 위한 데이터‑구동 접근법의 가능성을 입증한다.

상세 분석

WheelArm‑Sim은 기존 로봇 시뮬레이터가 휠체어와 로봇팔의 결합을 지원하지 못한다는 한계를 극복하기 위해 설계되었다. 핵심 하드웨어 모델은 Kinova Gen3 7‑DOF 팔과 Whill CR2 전동 휠체어이며, 두 장치를 Isaac Sim의 물리 엔진에 통합해 실제와 유사한 접촉·동역학을 구현한다. 팔의 역기구학은 스크류 이론 기반 뉴턴‑라프슨 방법을 사용해 목표 엔드‑이펙터 변환을 관절 공간으로 매핑하고, 휠체어는 차동 구동을 Action Graph로 구현해 ROS2 토픽으로 속도 명령을 전달한다.

데이터 수집 파이프라인은 인간‑인‑루프 텔레오퍼레이션을 전제로, 키보드 입력을 통해 이동·조작 명령을 실시간으로 시뮬레이션에 전송한다. ROS2 노드들은 관절 상태, IMU, RGB‑D 이미지(팔 손목 카메라와 휠체어 탑재 카메라) 등을 HDF5 형식으로 동기화 저장한다. 이 과정에서 타임스탬프 정렬을 위해 이미지와 센서 데이터를 비동기적으로 수집한 뒤, 데이터 처리 노드에서 보간·보정하여 일관된 시퀀스를 만든다.

수집된 데이터셋은 두 가지 활동(Organization, Serve‑Yourself)으로 구분되며, 각각 13개의 세부 과제(물건 집기, 서랍 열기, 음식·음료 선택 등)를 포함한다. 객체는 강체와 변형체(예: 테디베어)로 다양화했으며, 물리 파라미터(탄성계수, 마찰계수 등)를 조정해 실제 물체와 유사한 상호작용을 재현한다. 총 232개의 궤적과 67 783개의 샘플은 멀티모달(텍스트 명령, RGB‑D, 관절·위치·속도) 형태로 제공된다.

베이스라인 모델은 세 가지 모달리티를 각각 특화된 인코더(ResNet‑18, 간단한 CNN, Word2Vec)로 특징을 추출하고, MLP 융합 후 LSTM에 입력해 다음 시점의 로봇 포즈(위치·쿼터니언·그리퍼 각도)를 예측한다. 하이퍼파라미터는 LSTM hidden 128, 학습률 1e‑4, 배치 16 등이며, MSE 손실과 Adam 옵티마이저를 사용한다. mustard‑picking 과제에서 20개의 트레인/밸리드 샘플과 4개의 테스트 샘플을 이용해 학습했으며, 결과는 시뮬레이션 데이터가 통합 제어 모델 학습에 충분히 활용 가능함을 보여준다.

주요 기여는 (1) 휠체어‑팔 통합 시뮬레이터 구현, (2) ROS2 기반 실시간 데이터 수집 워크플로우 제공, (3) 멀티모달 ADL 데이터셋 공개, (4) 간단한 시퀀스 모델을 통한 데이터 활용 가능성 입증이다. 한계점으로는 현재 인간 모델이 없어서 피드백 기반 보조 동작(예: 식사 보조)을 구현하지 못했으며, 시뮬레이션‑실제 간 격차를 줄이기 위한 도메인 적응 연구가 필요하다. 향후 연구는 실제 WheelArm 하드웨어와의 연동, 더 복잡한 언어‑시각‑동작 매핑, 강화학습 기반 정책 학습 등을 목표로 할 수 있다.