PrediFlow: 인간 로봇 협업을 위한 실시간 인간 동작 예측 프레임워크

초록

본 연구는 인간-로봇 협업 환경에서 실시간으로 인간의 미래 동작을 예측하는 새로운 ‘PrediFlow’ 프레임워크를 제안합니다. 기존 예측 모델의 결과를 로봇의 움직임 정보와 함께 Flow Matching 기반 정제 모듈로 개선함으로써, 예측 정확도를 크게 향상시키면서도 인간 동작의 불확실성과 다중 양상을 보존합니다. 전체 추론 시간은 실시간 제약 조건을 충족시켜 실제 산업 현장에 적용 가능한 실용성을 입증했습니다.

상세 분석

본 논문이 제안하는 PrediFlow 프레임워크의 기술적 핵심은 ‘예측-정제(Prediction-Refinement)‘의 2단계 구조와 ‘Flow Matching’ 기반 정제 모듈에 있습니다. 첫 번째 단계에서는 사전 훈련된 최신 예측기(SwiftDiff 등)가 관찰된 인간 동작만을 입력으로 받아 다수의 초기 예측을 생성합니다. 이는 ‘Coarse(거친)’ 예측 단계로 볼 수 있습니다. 두 번째 단계에서는 Flow Matching 구조를 채택한 정제 모듈이 핵심 역할을 수행합니다. 이 모듈은 초기 예측 결과, 관찰된 인간 동작, 그리고 관찰된 로봇 동작을 조건(condition)으로 함께 입력받아, 초기 예측과 실제 값(ground truth) 사이의 잔차(residual)를 학습하고 예측합니다.

Flow Matching을 선택한 이유는 두 가지 주요 장점 때문입니다. 첫째, 확산 모델(Diffusion Model)과 같은 생성 모델의 성능을 유지하면서도 최적 수송 경로를 학습하여 본질적으로 ‘일단계(one-step)’ 생성이 가능합니다. 이는 확산 모델의 다단계 반복적 디노이징 과정을 거치거나 지식 증류(Knowledge Distillation)를 위한 추가 비용 없이도 빠른 추론을 가능하게 합니다. 둘째, 데이터 자체의 변동성(Data Uncertainty)과 모델의 일반화 부족에서 기인하는 모델 불확실성(Model Uncertainty)을 모두 포착할 수 있어, 안전-중요(safety-critical) HRC 응용 분야에서 더욱 견고하고 신뢰할 수 있는 예측을 제공합니다.

정제 모듈의 아키텍처는 상호작용 인식을 위해 설계되었습니다. 로봇 동작 정보는 별도의 인코더를 통해 특징으로 추출된 후, 메인 네트워크의 특징 맵을 변조(modulate)하는 조건으로 활용됩니다. 이를 통해 로봇의 움직임이 인간의 다음 행동에 미치는 영향을 모델링함으로써 기존의 고립된 예측 접근법의 한계를 극복합니다. 실험은 HRC 데스크탑 분해 데이터셋에서 진행되었으며, 정량적 평가에서 Best, Average, Worst 경우의 오차를 모두 줄이며 정확도를 향상시켰고, 정성적 평가에서도 물리적으로 더 그럴듯하고 로봇과의 상호작용을 고려한 동작을 생성함을 보였습니다. 전체 프레임워크의 추론 시간은 실시간 예산(약 0.1초) 내에 들어, 실용성을 검증했습니다.