생성형 비디오를 활용한 휴머노이드 로봇의 물리적 동작 구현 기술

초록

생성형 비디오 모델이 만들어낸 가상의 인간 동작 영상에는 시각적 노이즈와 형태적 왜곡이 존재하여 로봇이 이를 그대로 따라 하기 어렵습니다. 본 연구는 이러한 왜곡을 극복하고 비디오 속 동작을 실제 휴머노이드 로봇의 물리적으로 안정적인 움직임으로 변환하는 ‘GenMimic’ 파이프라인을 제안합니다. 4D 리프팅 기술과 물리 기반 강화학습을 결합하여, 별도의 추가 학습 없이도 생성된 영상의 동작을 로봇이 즉각적으로 재현할 수 있음을 증명했습니다.

상세 분석

본 논문의 핵심적인 기술적 도전 과제는 ‘생성형 비모델의 시각적 불완전성’과 ‘로봇의 물리적 제약’ 사이의 간극을 메우는 것입니다. 최근 Sora와 같은 비디오 생성 모델은 놀라운 수준의 동작 합성 능력을 보여주지만, 생성된 프레임 내에서는 인체의 관절 위치가 어긋나거나 형태가 일시적으로 뭉개지는 ‘모폴로지 왜곡(morphological distortion)‘이 빈번하게 발생합니다. 만약 로봇이 단순히 픽셀 데이터를 모방하도록 학습된다면, 물리적으로 불가능한 관절 꺾임이나 균형 상실을 초래하게 됩니다.

이를 해결하기 위해 저자들은 2단계의 정교한 파이프라인을 설계했습니다. 첫 번째 단계는 ‘Pixel-to-4D-to-Robot’ 과정입니다. 비디오의 2D 픽셀 정보를 4D 인간 표현(human representation)으로 리프팅한 후, 이를 로봇의 관절 구조(morphology)에 맞게 재투영(retargeting)합니다. 이 과정은 시각적 노이즈를 기하학적 구조로 변환하여 일차적인 정제 작업을 수행합니다.

두 번째 단계인 ‘GenMimic’은 이 연구의 정점이라 할 수 있는 물리 기반 강화학습(RL) 정책입니다. 단순히 궤적을 추적하는 것을 넘어, 세 가지 핵심 메커니즘을 도입했습니다. 첫째, 3D 키포인트를 조건부 입력으로 사용하여 동작의 가이드라인을 제공합니다. 둘째, ‘대칭성 정규화(symmetry regularization)‘를 통해 생성형 비디오 특유의 비대칭적 왜곡을 물리적 대칭성으로 보정합니다. 셋째, ‘키포인트 가중치 추적 보상(keypoint-weighted tracking rewards)‘을 통해 동작의 핵심이 되는 주요 관절의 정확도를 우선적으로 높입니다. 이러한 설계는 생성된 영상의 노이즈가 로봇의 물리적 안정성을 해치지 않도록 강력한 제어 장치 역할을 합니다. 결과적으로 이 기술은 비디오 생성 모델을 로봇의 ‘상위 수준 행동 계획가(High-level planner)‘로 활용할 수 있는 새로운 패러다임을 제시하고 있습니다.

최근 생성형 AI 기술의 비약적인 발전으로 인해, 텍스트나 이미지를 기반으로 실제와 유사한 인간의 동작 영상을 생성하는 것이 가능해졌습니다. 이러한 기술은 로봇 공학 분야에서 매우 중요한 잠재력을 가집니다. 만약 로봇이 복잡한 프로그래밍 없이도 생성된 영상을 보고 그 동작을 이해하고 따라 할 수 있다면, 로봇의 작업 범주는 무한히 확장될 수 있기 때문입니다. 그러나 현재의 비디오 생성 모델은 생성된 영상 내에서 인체의 형태가 왜곡되거나 프레록(frame-lock) 현상과 같은 노이즈를 포함하는 경우가 많아, 로봇이 이를 직접 모방하기에는 물리적 위험성이 매우 높습니다.

본 논문은 이러한 문제를 해결하기 위해 ‘GenMimic’이라는 혁신적인 두 단계 파이프라인을 제안합니다.

첫 번째 단계는 시각적 정보를 물리적 구조로 변환하는 과정입니다. 연구진은 생성된 비디오의 픽셀 데이터를 4D 인간 표현으로 변환하는 ‘Lifting’ 과정을 거친 후, 이를 휴머노이드 로봇의 관절 구조에 맞게 변환하는 ‘Retargeting’ 과정을 수행합니다. 이 단계는 비디오의 2D 시각 정보를 로봇이 이해할 수 있는 3D 구조적 정보로 변환함으로써, 영상의 시각적 노이즈가 로봇의 관절 제어에 직접적인 영향을 미치지 않도록 일차적인 필터링 역할을 수행합니다.

두 번째 단계는 물리적 안정성을 보장하는 ‘GenMimic’ 강화학습 정책의 구현입니다. 저자들은 생성된 영상의 왜곡된 정보를 물리적으로 타당한 궤적으로 변환하기 위해 세 가지 핵심 기술을 적용했습니다. 우선, 3D 키포인트를 정책의 조건(condition)으로 사용하여 동작의 뼈대를 유지합니다. 다음으로, 생성형 모델의 고질적인 문제인 비대칭적 왜곡을 해결하기 위해 ‘대칭성 정로화(symmetry regularization)‘를 도입하여 로봇이 물리적으로 균형 잡힌 자세를 유지하도록 유도합니다. 마지막으로, 모든 관절을 동일하게 추적하는 대신 동작의 핵심이 되는 관절에 더 높은 가중치를 부여하는 ‘키포인트 가중치 추적 보상(keypoint-weighted tracking rewards)‘을 통해 동작의 질을 극대화했습니다.

연구의 검증을 위해 저자들은 두 가지 비디오 생성 모델을 활용하여 다양한 동작과 맥락을 포함하는 ‘GenMimicBench’라는 합성 데이터셋을 구축했습니다. 실험 결과, GenMimic은 기존의 강력한 베이스라인 모델들을 압도하는 성능을 보여주었습니다. 특히 주목할 만한 점은 시뮬레이션 환경에서의 성과에 그치지 않고, 실제 Unitree G1 휴머노이드 로봇에 별도의 미세 조정(fine-tuning) 없이 적용했을 때도 물리적으로 안정적이고 일관된 동작을 수행했다는 점입니다. 이는 ‘제로샷(Zero-shot)’ 환경에서도 생성형 비디오를 로봇 제어의 상위 수준 지침으로 사용할 수 있음을 입증한 것입니다.

결론적으로, 본 연구는 생성형 비디오 모델을 단순한 영상 제작 도구를 넘어, 로봇의 행동을 설계하는 고수준 플래너로 격상시켰습니다. 이는 향후 로봇이 인간의 복잡한 행동을 시각적 데이터만으로 학습하고 실행할 수 있는 ‘비디오 기반 로봇 학습’ 시대의 중요한 이정표가 될 것으로 기대됩니다.