가상현실 멀티센서리 제스처와 모션을 위한 기본 파일 포맷

초록

본 논문은 인간 제스처와 모션 데이터를 다양한 가상현실·멀티센서리 환경에서 교환하기 위한 저수준·범용 파일 포맷인 GMS(Gesture and Motion Signal)를 제안한다. 기존 포맷이 특정 응용에 최적화된 반면, GMS는 차원성, 구조, 변수 유형, 시공간 속성 등 제스처 신호의 핵심 속성을 최소한으로 정의한다. 이를 통해 이기종 시스템 간의 호환성을 높이고, 가상 객체와의 실시간 인터랙션을 효율적으로 지원한다.

상세 분석

GMS 포맷이 제시하는 가장 큰 혁신은 “제스처 신호 자체”를 독립적인 데이터 객체로 취급한다는 점이다. 기존의 모션 캡처 파일(MOCAP, BVH 등)은 주로 뼈대 구조와 애니메이션 타임라인을 포함하지만, 제스처가 갖는 다차원 센서값(가속도, 자이로, 압력, 전위 등)과 메타데이터를 일관되게 표현하지 못한다. GMS는 이러한 한계를 극복하기 위해 다음과 같은 설계 원칙을 채택한다.

1. 차원성(Dimensionality) 정의: 각 제스처 채널은 독립적인 차원으로 선언되며, 1D(스칼라), 2D(벡터), 3D(공간 좌표) 등 다양한 형태를 지원한다. 이는 손가락 관절 각도, 머리 움직임, 혹은 촉각 피드백 강도와 같은 서로 다른 물리량을 동일한 프레임워크 안에 포함시킬 수 있게 한다.

2. 구조적 계층(Structural Hierarchy): GMS는 ‘시그널’, ‘채널’, ‘샘플’이라는 3단계 계층을 도입한다. 시그널은 전체 제스처 스트림을 의미하고, 채널은 개별 센서 혹은 파라미터를, 샘플은 시간에 따른 값들을 담는다. 이러한 계층은 파일 파싱을 단순화하고, 부분적인 데이터 접근(예: 특정 손가락만 추출)에도 효율적이다.

3. 변수 유형(Type of Variables): 정수, 부동소수점, 부울 등 기본 데이터 타입을 명시적으로 선언한다. 특히 부동소수점은 32비트와 64비트 두 가지 정밀도를 선택 가능하게 하여, 실시간 인터랙션에서는 저정밀, 오프라인 분석에서는 고정밀을 자유롭게 전환할 수 있다.

4. 시공간 속성(Temporal & Spatial Properties): 샘플 레이트와 타임스탬프는 전역 메타데이터로 정의되며, 비균등 샘플링을 허용한다. 공간 좌표계는 절대(월드)와 상대(로컬) 두 가지 모드를 지원해, 가상 객체가 이동하거나 회전할 때 좌표 변환을 별도 계산할 필요 없이 파일 자체에 명시할 수 있다.

5. 확장성(Extensibility): 포맷 헤더에 ‘Extension’ 블록을 두어 사용자 정의 메타데이터(예: 실험 조건, 장비 캘리브레이션 정보)를 삽입한다. 이는 향후 새로운 센서 종류가 등장해도 기존 파서가 파일을 무시하거나 오류를 발생시키지 않게 만든다.

기술적인 관점에서 GMS는 파일 구조를 ‘Chunk’ 기반으로 설계한다. 각 Chunk는 고정 길이 헤더(Chunk ID, Size)와 가변 길이 데이터 영역으로 구성돼, 스트리밍 전송 시에도 파싱이 가능하도록 한다. 또한, 압축 옵션을 제공해 대용량 실시간 데이터 전송 시 대역폭을 절감한다.

실험적으로 논문은 두 가지 시나리오를 제시한다. 첫 번째는 VR 환경에서 손동작을 이용한 가상 악기 연주이며, 여기서는 6DOF 트래킹 데이터와 압력 센서값을 동시에 기록한다. GMS 파일은 120 Hz 샘플링으로 10 분 동안 약 70 MB 크기의 데이터를 30 % 압축해 저장했으며, 기존 BVH 포맷 대비 파싱 속도가 2.3배 빨랐다. 두 번째는 촉각 피드백을 포함한 멀티모달 인터랙션으로, 압력, 온도, 전기 자극 등 4개의 센서 채널을 동시 기록했다. GMS는 채널별 메타데이터를 명시적으로 포함함으로써, 후처리 단계에서 각 센서 데이터를 독립적으로 필터링하고 시각화하는 과정을 크게 단순화했다.

결론적으로 GMS는 “제스처 신호”를 최소 단위로 정의하고, 다차원·다채널·비균등 시계열 데이터를 일관되게 표현함으로써, 가상현실·멀티센서리 시스템 간 데이터 교환의 표준화를 목표한다. 이는 향후 인터페이스 설계, 실시간 협업, 그리고 머신러닝 기반 제스처 인식 연구에 중요한 기반이 될 것으로 기대된다.