VR 기반 원격 조작과 R CNN 가상 환경 강화

초록

본 논문은 의료·실험실 로봇 원격 조작 시 카메라 영상에 의존하는 기존 방식의 한계를 극복하기 위해, Intel RealSense 깊이 카메라와 Mask R‑CNN을 이용해 실험실 기구를 실시간으로 인식·위치 추정하고, 이를 Unity 기반 가상 환경에 디지털 트윈 형태로 투영하는 시스템 ‘GraspLook’를 제안한다. 사용자 실험 결과, VR 기반 증강 환경이 작업 시간·오류를 감소시키고 인지적 부하와 피로도를 각각 11 %·16 % 낮추는 것으로 나타났다.

상세 분석

GraspLook 시스템은 UR3 6 DOF 로봇 팔, 2‑손가락 그리퍼, 8 MP 온‑그리퍼 카메라와 엔드‑이펙터에 장착된 Intel RealSense D435 RGB‑D 카메라를 핵심 하드웨어로 구성한다. 조작자는 Omega.7 데스크톱 햅틱 디바이스를 통해 로봇의 3 축 평행 이동을 제어하고, 회전은 고정함으로써 제어 복잡도를 낮춘다. 햅틱 디바이스와 로봇 작업 공간의 크기 차이를 보정하기 위해 1배에서 5배까지의 스케일링 옵션을 제공하고, 필요 시 한두 축을 잠궈 정밀 움직임을 지원한다.

시각 피드백은 두 가지 채널로 제공된다. 첫 번째는 온‑그리퍼 8 MP 카메라의 실시간 영상 스트림이며, 두 번째는 Mask R‑CNN 기반 객체 인식 결과를 활용한 가상 환경 내 디지털 트윈이다. 객체 인식은 사전에 수집·합성한 8 종 실험실 기구(스크래퍼, 마이크로 튜브 등) 8 000장의 이미지 데이터셋으로 학습되었으며, ResNet‑101‑FPN 백본을 갖는 Mask R‑CNN을 10 k iteration 동안 학습시켜 평균 정밀도(AP) 88 % 이상을 달성했다. 특히 원심분리 튜브에 대해 AP₅₀이 97.5 %에 이르는 높은 성능을 보였다.

인식된 객체의 2D 바운딩 박스와 세그멘테이션 마스크를 이용해 깊이 맵에서 평균 거리값을 추출하고, 이를 RealSense 좌표계에서 Unity 좌표계로 변환한다. 변환된 3‑D 위치와 사전 설계된 CAD 모델을 매칭시켜 가상 환경에 실시간으로 배치함으로써, 사용자는 카메라 시야에 제한받지 않고 360° 시점 전환이 가능한 헤드‑마운트 디스플레이(HMD)로 작업 공간을 조망한다. 객체 위치의 급격한 변동을 완화하기 위해 알파 필터링을 적용해 부드러운 위치 업데이트를 구현하였다.

사용자 실험은 8명의 피험자를 대상으로 카메라‑기반 전통 방식과 GraspLook의 VR‑기반 증강 방식 두 가지 조건에서 테스트 튜브를 지정된 위치에서 집어 옮기는 과업을 수행하게 하였다. 각 피험자는 3회 반복 수행했으며, 수행 시간, 궤적 길이, 그리핑 오류율을 측정하였다. 결과는 VR‑기반 조건이 평균 수행 시간이 약 18 % 단축되고, 궤적 길이가 12 % 감소했으며, 그리핑 오류가 9 % 감소함을 보여준다. 또한 NASA‑TLX 설문을 통해 인지적 부하가 11 %, 물리적·정신적 노력도가 각각 16 %와 13 % 낮아졌다고 보고하였다.

본 연구의 주요 기여는 (1) 실시간 객체 인식을 통한 디지털 트윈 기반 가상 환경 증강, (2) 햅틱 디바이스와 로봇 제어의 스케일링·축 잠금 메커니즘, (3) 합성 데이터셋을 활용한 효율적인 Mask R‑CNN 학습 파이프라인, (4) 사용자 중심의 인지 부하 감소와 작업 효율성 향상에 대한 실증적 증거이다. 다만, 현재 시스템은 객체가 수직으로 배치된다는 가정에 의존하며, 복잡한 장면에서 다중 객체 간 occlusion 처리와 실시간 재학습 능력은 향후 과제로 남는다.