저비용 3D 증강현실 촉각 인터페이스 구현

초록

**
본 논문은 RGB‑Depth 카메라와 라즈베리 파이, 스마트폰을 이용해 저가의 3D 증강현실(TUI) 시스템을 설계한다. 색상 기반 물체 추적과 새로운 cMinMax 코너 검출 알고리즘을 통해 실시간 3D 위치를 획득하고, 이를 모바일 Unity‑Vuforia 환경에 전달하여 가상 객체와 물리적 입력 장치를 연동한다.

**

상세 분석

**
이 연구는 세 가지 핵심 기여를 제시한다. 첫째, 저비용 하드웨어(스마트폰, 라즈베리 파이 4, Structure Sensor RGB‑Depth 카메라, 색상 구분이 가능한 작은 공)와 오픈소스 소프트웨어(OpenCV, Python, Matlab)를 결합해 DIY 형태의 3D AR‑VR 프로토타입을 구현하였다. 시스템은 두 개의 서브시스템으로 나뉘어 Wi‑Fi로 통신한다. 첫 번째 서브시스템은 Android 스마트폰에서 Unity와 Vuforia를 이용해 이미지 마커 기반의 증강 화면을 제공하고, 두 번째 서브시스템은 라즈베리 파이에서 RGB와 Depth 영상을 동기화·정합한 뒤, 색상 세그멘테이션과 깊이 추출을 통해 물리적 입력 장치(‘AR‑POINTER’)의 3‑D 좌표를 실시간으로 계산한다.

둘째, 색상 변동에 강인한 물체 검출 파이프라인을 설계하였다. 초기 단계에서 배경 마스크를 생성하고, HSV 색공간에서 히스토그램 기반으로 색상 범위를 자동 조정한다(±15° HUE). 이렇게 얻은 색상 범위는 조명 변화와 다중 색상 포인터 사용을 가능하게 하며, Canny 엣지 검출과 컨투어 면적 최대화를 통해 물체의 2‑D 중심을 정확히 추출한다.

셋째, 기존 Harris 코너 검출보다 약 10배 빠르고 볼록 다각형에 특화된 cMinMax 알고리즘을 제안한다. 마스크 이미지의 x·y 좌표 최소·최대값을 직접 구해 네 개의 코너를 초기 후보로 삼고, 다각형의 기대 꼭짓점 수 N에 따라 회전 보정(Δθ = k·π/N) 과정을 반복한다. 회전된 이미지에서 다시 최소·최대값을 추출하고, 원본 좌표계로 역변환함으로써 모든 코너 후보를 얻는다. 최종적으로 각 코너 주변 픽셀들의 중심(centroid)을 계산해 실제 코너 위치로 정제한다. 이 방법은 볼록 사각형뿐 아니라 다각형(예: 육각형)에도 확장 가능하지만, 비볼록 형태나 복잡한 곡선 경계에는 적용이 제한된다.

시스템 전체 흐름은 다음과 같다. (1) 카메라 정합 단계에서 RGB와 Depth 이미지 간의 호모그래피를 SIFT 기반으로 추정해 정렬한다. (2) 초기화 단계에서 배경 마스크와 색상 경계, 그리고 이미지 마커와 Unity 좌표계 사이의 투영 변환 행렬(TRV)을 계산한다. (3) 메인 루프에서는 색상 세그멘테이션으로 물체의 2‑D 위치를 찾고, 동일 영역의 Depth 값 평균을 취해 Z 좌표를 얻는다. (4) 실시간으로 (x, y, z) 좌표를 Unity 좌표계로 변환해 Wi‑Fi로 전송하고, 스마트폰은 이를 받아 가상 공(AR‑POINTER)으로 렌더링한다. 이렇게 물리적 공의 움직임이 가상 환경에 직접적인 인터랙션을 제공한다.

성능 평가에서는 cMinMax가 Harris 대비 처리 시간에서 10배 이상 빠름을 보였으며, 색상 기반 추적은 조명 변화에도 95% 이상의 검출 정확도를 유지했다. 그러나 깊이 센서의 해상도와 거리 제한(≈0.5 ~ 2 m) 때문에 큰 작업 공간에서는 정확도가 감소한다는 한계가 있다. 또한, Wi‑Fi 전송 지연이 30 ms 이하로 유지될 경우 실시간 인터랙션이 원활하지만, 네트워크 품질에 따라 체감 지연이 발생할 수 있다.

전반적으로 이 논문은 저가 하드웨어와 간단한 알고리즘을 결합해 3‑D AR‑TUI 시스템을 구현함으로써, 연구실 수준의 프로토타입을 넘어 교육·프로토타이핑·소규모 전시 등에 바로 적용 가능한 실용적 플랫폼을 제시한다.

**