다중 일상 활동 인식을 위한 POVNet 플러스 로봇 인공지능

초록

POVNet 플러스는 RGB‑D 영상, 3D 스켈레톤, 객체 인식을 결합한 멀티모달 딥러닝 구조로, 일상 활동(ADL)을 ‘보는’, ‘새로운’, ‘비정형’ 세 유형으로 구분한다. ADL 임베딩과 동작 임베딩을 별도로 학습해 비활동 움직임을 배제하고, 유사도 기반 사용자 상태 추정으로 미지의 활동이나 비정형 수행을 실시간 인식한다. 실험 결과 기존 방법보다 높은 분류 정확도를 보였으며, 실제 가정 환경에서 SAR 로봇 Leia가 적절한 지원 행동을 사전에 시작하는 데 성공했다.

상세 분석

본 논문은 사회보조 로봇(SAR)이 장기적으로 활용되기 위해 필수적인 ‘다중 ADL 인식’ 문제를 해결하고자 한다. 기존 연구들은 주로 단일 모달(예: 3D 관절 데이터)이나 사전 정의된 활동만을 분류했으며, 비활동 움직임이나 새로운 활동을 구분하지 못해 오탐이 빈번했다. POVNet 플러스는 이러한 한계를 극복하기 위해 세 가지 핵심 설계를 도입한다. 첫째, RGB‑D 영상, 2D 객체 이미지, 3D 스켈레톤을 동시에 입력받는 멀티모달 샘플링 모듈을 구축해 각 모달리티별 특징을 독립적으로 추출한다. 영상 백본은 X3D‑m 구조를 사용해 장면 및 전반적 움직임을 포착하고, 포즈 백본은 그래프 컨볼루션 네트워크(GCN)와 자체‑어텐션을 결합해 관절 간 관계와 전역 움직임을 학습한다. 특히 관절별 이동 거리의 유클리드 합을 ‘동작 임베딩 벡터’로 압축해, 미세 동작과 거친 동작을 정량적으로 구분한다. 둘째, 객체 백본으로 YOLOv13을 적용해 ADL에 관련된 물체(컵, 칫솔 등)를 실시간으로 탐지하고, 물체 위치 정보를 공간적 중간 융합(spatial mid‑fusion) 과정에 포함시켜 장면‑동작 간의 정합성을 강화한다. 셋째, ADL 임베딩과 동작 임베딩을 각각 별도 공간에 매핑한 뒤, 사용자 상태 추정 모듈에서 두 임베딩 간 유사도 함수를 활용한다. 이 함수는 현재 관찰된 임베딩이 기존 ADL 클러스터와 얼마나 가까운지를 측정해 ‘보는(known)’, ‘새로운(unseen)’, ‘비정형(atypical)’ 활동을 실시간으로 구분한다. 새로운 ADL이 등장하거나 기존 ADL이 비정형으로 수행될 경우, 로봇은 즉시 해당 상태를 인식하고 사전 정의된 지원 정책을 발동한다. 실험에서는 기존 SOTA 인간 활동 인식 모델 대비 ADL 분류 정확도가 4~6% 상승했으며, 특히 비활동 움직임을 효과적으로 배제해 오탐률을 크게 낮추었다. 인간‑로봇 상호작용 실험에서는 다중 사용자와 복잡한 가정 환경에서도 로봇 Leia가 적절한 시점에 지원 행동(예: 물건 제공, 자세 교정)을 시작함을 확인했다. 전체적으로, 멀티모달 임베딩 설계와 유사도 기반 상태 추정이 SAR의 능동적 지원을 가능하게 하는 핵심 메커니즘임을 입증하였다.