Title: Dataspace: A Reconfigurable Hybrid Reality Environment for Collaborative Information Analysis
ArXiv ID: 1903.03700
발행일: 2019-03-12
저자: Marco Cavallo, Mishal Dholakia, Matous Havlena, Kenneth Ocheltree, Mark Podlaseck
📝 초록 (Abstract)
임ersive 환경은 더 이상 시각화하고 분석하기 어려운, 아니면 불가능한 대규모 또는 복잡한 데이터 세트를 탐색하는 데 표준이 되어가고 있다. 그러나 이 작업 공간에는 상호 작용, 유연성, 비용 및 확장성 측면에서 제약이 종종 존재한다. 본 논문에서는 팀워크 환경을 개선하기 위한 새로운 조합의 다형 기술과 상호 작용 방법을 특징으로 하는 새로운 임ersive 환경인 Dataspace를 소개한다. Dataspace는 7 자유도 로봇 팔을 통해 공간에서 동적으로 재구성할 수 있는 15개의 고해상도 디스플레이, 정보를 투영할 수 있는 중앙 테이블 및 증강 현실(AR)과 가상 현실(VR) 헤드셋 및 기타 모바일 기기와의 독특한 통합을 제공한다. 특히 우리는 물리적 환경을 AR 및 VR 기술과 결합하는 새로운 상호 작용 방법론을 제안하여 복잡한 유형의 데이터를 시각화하고 기존 임ersive 환경의 확장성 문제를 완화한다. 네 가지 사용 사례를 통해 이 환경이 다양한 도메인에서 효과적으로 활용되고 사용자 요구에 따라 재구성될 수 있음을 보여준다. 마지막으로, 기존 기술과 Dataspace를 비교하고 향후 더 나은 협업 작업 공간을 구축하려고 할 때 고려해야 할 트레이드오프를 요약한다.
💡 논문 핵심 해설 (Deep Analysis)
This paper introduces a new immersive environment called Dataspace that aims to enhance collaborative data analysis and visualization. The primary focus is on addressing the limitations of current immersive environments such as interaction constraints, flexibility issues, cost, and scalability challenges. Dataspace offers 15 high-resolution displays that can be dynamically reconfigured using robotic arms, an interactive central table, and a unique integration with AR and VR technologies. By combining physical space with these advanced technologies, it enables more effective visualization of complex data types and mitigates some of the scalability issues faced by existing immersive environments. The paper demonstrates Dataspace's effectiveness through four real-world use cases, showing how this environment can be flexibly adapted to meet various user requirements across different domains.
📄 논문 본문 발췌 (Translation)
화면 구성 샘플. 7 자유도 로봇 팔을 통해 화면은 공간에서 동적으로 위치 및 방향이 조정될 수 있다. 일반적인 구성에는 초점 모드 (예: "Immersive") 또는 컨텍스트 모드 (예: "Context")와 같은 세로 또는 가로 모드, 반경이 몰입도를 결정하는 원을 따라 분산된 화면 등이 포함된다. 삼분면 구성은 별개의 결합된 화면 그룹으로 이루어져 있으며 때때로 추가적인 화면과 연결될 수 있다. 로봇 팔은 또한 환경 외부에서 시청자에게 향해 회전할 수 있는 화면을 제공한다.
시스템 아키텍처. Dataspace는 환경의 공간 표현에 저장된 네 가지 다른 하위 시스템의 속성을 구성한다. 개발자는 Merlin이라는 소프트웨어 미들웨어 계층을 통해 Dataspace 모델 및 연결된 장치에 액세스할 수 있는 웹 기반 응용 프로그램을 만들 수 있다.
Dataspace (그림 [fig:datacenter])은 여러 연구자들이 대규모 및 복잡한 데이터와 자연스럽게 상호 작용할 수 있는 공간적인 협업 환경이다. 이 환경은 회의실을 사용자, 애플리케이션 및 데이터에 맞게 적응하는 동적 물리적 환경으로 재구상한다.
Dataspace를 구성하는 물리적 구성 요소는 다음과 같다:
15개의 OLED 4K 해상도 디스플레이로, 각각은 천장에 원형 패턴을 이루며 설치된 7 자유도 Kuka 로봇 팔을 통해 공간에서 재구성될 수 있다. 무게 및 와이어링 제약으로 인해 화면 자체에는 터치 스크린 기능이 내재되어 있지 않다. 하지만 각 로봇 관절에 위치한 회전 센서를 사용하여 이 기능을 모방한다 (민감도는 $`\pm`$2cm). 각각의 화면은 공간에서 독립적으로 움직이고 회전할 수 있으며, 그림 1에는 가장 일반적인 구성들이 나열되어 있다. Dataspace는 화면이 서로 충돌하거나 방 안의 사람들과 충돌하지 않도록 하드웨어 및 소프트웨어 안전 프로토콜을 갖추고 있다.
애플리케이션 요구사항에 따라 높이를 조정할 수 있는 원활한 표면의 세라믹 테이블. 두 개의 HD 프로젝터 덕분에 2K 해상도의 시각적 출력을 테이블에 투영할 수 있다. 테이블 표면은 패시브지만, Dataspace 인식 시스템을 통해 사용자의 테이블 제스처를 감지할 수 있다.
천장에 설치된 중앙 커울링에는 위에서 언급한 두 프로젝터와 8개의 교차 방사형 Kinect v2 깊이 센서가 장착되어 있어, Dataspace 인식 시스템은 테이블과 화면 사이의 공간에 있는 물체 및 사람을 추적하고 제스처를 식별한다.
스피커 각 로봇 팔마다 설치된 15개의 스피커와 커울링 내부의 5개의 스피커 및 두 개의 서브우퍼로 구성된 공간 음향 시스템. 이 시스템은 IBM Speech-to-text 및 Conversation 서비스를 통해 가장 강력한 음성 신호의 방위각을 감지하고 해석할 수 있는 4개의 위상 배열 마이크도 포함한다.
Microsoft Hololens 증강 현실 헤드셋 10대는 Dataspace 구성 요소와 상호 작용, 오디오 서비스 및 그래픽 렌더링에서 원활하게 통합된다. 이러한 AR 헤드셋은 사용자가 3D 정보와 상호 작용하기 위해 (특히 중앙 테이블 위에 표시되는 경우) 착용할 수 있다.
다양한 모바일 장치 (예: 노트북, 태블릿, 스마트폰 및 가상 현실 헤드셋)는 Dataspace 화면의 확장 또는 사용자가 세션에 가상으로 참석하는 수단으로 사용될 수 있는 선택적 구성 요소이다.
Dataspace는 아키텍처 (그림 2)를 구현하여 하위 시스템을 처리한다: 운동 제어 (15개의 로봇 팔을 조정), 인식 (사람과 물체를 감지 및 추적), 디스플레이 (화면 콘텐츠와 테이블 프로젝션을 관리) 및 오디오 (음성 해석 및 음향 출력). 각 하위 시스템은 중앙 소프트웨어 컨트롤러 Merlin과 MQTT 프로토콜을 통해 통신하는 전용 서버 머신에서 실행된다. 우리는 로봇 팔 제어에 ROS (Robot Operating System)를 활용하고 IBM 클라우드 서비스를 음성 해석에 사용하며, 여러 Kinect 장치의 깊이 정보를 단일 포인트 클라우드로 병합하는 데는 사용자 정의 알고리즘을 개발했다. 우리는 화면에 대한 웹 기반 렌더링을 통해 Electron을 채택하여 애플리케이션 개발의 유연성을 증가시키고 (예: HTML, WebGL) 브라우징 능력을 갖춘 외부 장치 (예: 노트북 및 스마트폰)를 지원한다. 따라서 동일한 콘텐츠와 상호 작용을 쉽게 장치 간에 전달할 수 있다. 애플리케이션은 Dataspace로 자동 배포되는 Docker 컨테이너로 Merlin API에 액세스할 수 있는 고유의 Node.js 패키지를 통해 할 수 있으며, 필요시 RESTful 버전의 Merlin API를 활용하여 사용자 정의 애플리케이션을 구축할 수도 있다.
