JRDB‑Pose3D: 로봇용 다인·3D 인간 자세·형상 데이터셋

초록

JRDB‑Pose3D는 모바일 로봇이 촬영한 실내·외 복잡한 군중 장면을 대상으로, SMPL 기반 3D 자세·신체 형태와 트랙 ID, occlusion 라벨을 제공하는 대규모 다인·3D 인간 자세·형상 데이터셋이다. 평균 5~10명, 최대 35명의 자세를 포함하며, 2D 자세, 사회적 그룹·활동, 연령·성별·인종 등 풍부한 부가 정보를 함께 제공한다. 기존 단일·실험실 데이터와 달리 실시간 로봇 시점, 빈번한 가림·절단·프레임 외 상황을 반영해 로봇 인식·내비게이션·인간‑로봇 상호작용 연구에 최적화되었다.

상세 분석

JRDB‑Pose3D는 기존 3D 인간 자세 데이터셋이 갖는 두 가지 한계를 동시에 해소한다. 첫째, 대부분의 기존 데이터는 실험실 환경 혹은 정적인 카메라에서 수집돼, 로봇이 실제로 마주치는 복잡한 군중, 다양한 조명·배경, 급격한 카메라 움직임을 반영하지 못한다. JRDB‑Pose3D는 JackRabbot 로봇에 장착된 5쌍의 스테레오 카메라(360° 파노라마)와 라이다를 이용해 54개의 시퀀스를 수집했으며, 실내·외를 아우르는 다양한 장소에서 평균 5~10명, 최대 35명의 사람을 동시에 포착한다. 이는 로봇이 이동하면서 겪는 급격한 시점 변화와 동적 occlusion을 그대로 담아, 실제 현장 적용성을 크게 높인다.

둘째, 기존 다인 3D 데이터는 주로 관절 좌표만 제공하거나, 합성 이미지에 국한돼 신체 형태(shape) 정보를 결여한다. JRDB‑Pose3D는 SMPL 파라미터(θ, β)를 이용해 자세와 몸체 형태를 동시에 라벨링한다. 특히 동일 인물에 대해 시퀀스 전체에 걸쳐 일관된 β값을 유지하도록 수작업 검증·보정 과정을 거쳐, 사람 간 신체 크기·비율 차이를 정확히 모델링한다. 이는 인간‑물체 접촉, 충돌 예측, 물리 기반 시뮬레이션 등 형태 인식이 필수적인 downstream task에 큰 이점을 제공한다.

데이터 구축 파이프라인도 주목할 만하다. 초기 3D 자세는 CameraHMR(멀티휴먼 전용)로 추정하고, JRDB의 정확한 카메라 내·외부 파라미터와 2D 키포인트를 이용해 PnP 기반 rigid alignment를 수행한다. 이후 전역 위치·방향을 보정하고, 시간적 스무딩 손실을 포함한 최적화로 관절 위치를 미세 조정한다. 마지막 단계에서는 전문가가 직접 검수·수정해, 특히 heavy occlusion, 프레임 외 신체 파트 등에 대한 오류를 최소화한다.

비교표(Table 1)에서 볼 수 있듯, JRDB‑Pose3D는 실시간 로봇 시점, 실내·외 혼합, 움직이는 카메라, 5~36명의 사람, 0.6M 프레임(≈40K 샘플) 등에서 기존 데이터셋을 앞선다. 특히 2D 자세, 사회적 그룹·활동, 전체 씬 세그멘테이션, 연령·성별·인종 라벨을 모두 포함해, 멀티모달 학습과 행동 인식, 사회적 상호작용 이해 등에 바로 활용할 수 있다.

한계로는 라벨링 비용이 높아 15프레임마다만 수동 검증을 수행했으며, 일부 프레임에서 여전히 shape·pose 불일치가 존재한다는 점이다. 또한 라이다 기반 전역 좌표는 실외에서의 정확도가 실내에 비해 다소 낮을 수 있다. 그럼에도 불구하고, 이 데이터셋은 로봇 비전·인간‑로봇 협업 분야에서 실세계 복잡성을 다루는 연구의 기준점이 될 잠재력이 크다.