공간 인지를 결합한 데이터 기반 제스처 생성 연구

초록

본 논문은 가상 에이전트가 말과 동시에 주변 환경을 인식하여 자연스러운 제스처를 생성하도록 하는 데이터‑드리븐 모델을 제안한다. 기존의 공허한 공간에서만 학습된 제스처 생성 방식의 한계를 극복하기 위해, 씬 정보(객체 위치·크기·관계)를 입력에 포함하고, 이를 위한 합성 제스처·장면 데이터셋을 구축하였다. 실험을 통해 공간 정보를 활용한 모델이 제스처의 현실성·상호작용 적합도에서 기존 방법보다 우수함을 입증한다.

상세 분석

이 연구는 인간‑에이전트 상호작용에서 비언어적 행동, 특히 제스처가 차지하는 역할을 재조명한다. 기존의 데이터‑드리븐 제스처 생성 모델은 주로 음성 텍스트와 제스처 시퀀스 간의 시계열 매핑에 초점을 맞추어, “빈 공간”에서 움직이는 동작을 학습했다. 그러나 실제 대화 상황에서는 에이전트가 주변 사물(책, 테이블, 화면 등)과 물리적으로 연관된 동작을 수행해야 자연스러운 상호작용이 가능하다. 이를 위해 저자들은 두 가지 핵심 기술적 기여를 제시한다. 첫째, 씬 정보를 정량화하는 방법으로, 3D 객체 위치, 바운딩 박스, 시선 방향, 거리 등을 벡터 형태로 인코딩하고, 이를 음성 특징과 결합하는 멀티모달 트랜스포머 아키텍처를 설계했다. 이 구조는 시간 축에서 음성 토큰과 공간 토큰을 교차 어텐션으로 연결해, 특정 발화가 특정 객체를 가리키거나 조작할 때 적절한 제스처를 생성하도록 학습한다. 둘째, 기존 제스처 데이터셋이 공간 정보를 제공하지 못한다는 문제를 해결하기 위해, 가상 환경(Unity 기반)에서 자동으로 씬 레이아웃과 동시 녹화된 제스처를 생성하는 합성 데이터 파이프라인을 구축했다. 여기서는 다양한 객체 배치, 조명, 카메라 각도를 변형해 데이터 다양성을 확보하고, 인간 모션 캡처 데이터를 기반으로 물리적 제약을 적용해 현실성을 높였다. 실험에서는 공간 인지를 포함한 모델이 제스처의 위치 정확도(L2 거리), 객체 지향성(Precision@k), 그리고 인간 평가 설문에서의 자연스러움 점수에서 기존 음성‑제스처 모델보다 유의미하게 우수함을 보였다. 또한, Ablation Study를 통해 씬 인코더와 교차 어텐션이 각각 성능 향상에 기여함을 확인했다. 한계점으로는 합성 데이터와 실제 환경 간 도메인 차이, 복잡한 동적 씬(다중 객체 움직임) 처리 미비, 그리고 실시간 추론 비용이 제시되었다. 향후 연구에서는 실제 촬영된 멀티모달 데이터 수집, 동적 씬 모델링, 경량화된 인퍼런스 구조 개발이 필요하다.