AR 기반 레고 조립 가이드 고정밀 정렬과 실시간 손오브젝트 가림 구현

초록

BRICKxAR는 마커 기반 정밀 등록과 물체·손 가림 기술을 결합한 AR 조립 시스템으로, 평균 1 mm 이하의 정렬 오차와 실시간 손‑가림을 제공해 레고와 같은 소형 부품 조립을 지원한다.

상세 분석

본 논문은 레고와 같은 소형 조립 장난감에 적용 가능한 AR 기반 조립 안내 시스템 BRICKxAR를 제안한다. 핵심 기술은 세 가지로 요약된다. 첫째, AprilTag 영감을 받은 복합 마커를 사용한 6‑DoF 마커 기반 정밀 등록이다. 마커를 두 개 결합해 하나의 큰 마커를 구성하고, 마커 일부가 가려져도 지속적인 추적이 가능하도록 설계하였다. 실험 결과 전체 모델에 대해 평균 정렬 오차가 1 mm 이하로 측정되었으며, 이는 기존 AR 조립 시스템이 보이는 수십 밀리미터 수준의 오차보다 현저히 개선된 수치이다. 둘째, 물체 가림을 구현하기 위해 두 개의 셰이더를 활용하였다. Shader 1은 현재 단계의 가상 브릭을 반투명 혹은 불투명하게 렌더링해 물리적 브릭 앞에 있을 경우 가려지도록 하고, Shader 2는 이미 배치된 물리적 브릭을 완전 투명하게 렌더링해 뒤에 있는 가상 브릭을 가리게 한다. 이중 셰이더 구조는 실시간 프레임 레이트를 유지하면서도 깊이 기반 가림을 정확히 재현한다. 셋째, 손 가림 및 손‑가상 브릭 잡기 기능이다. 색상 기반 피부톤 세그멘테이션을 이용해 손 영역을 실시간으로 추출하고, 손 영역에 투명한 가림 오브젝트를 삽입해 손이 가상 브릭 앞에 나타나는 오류를 방지한다. 사용자는 손을 화면에 터치해 피부톤을 학습시킬 수 있어 다양한 조명 조건에서도 안정적인 손 검출이 가능하다. 시스템은 iOS 기반 ARKit을 활용해 구현되었으며, 레고 ‘Arc de Triomphe’ 모델(386 단계)으로 프로토타입을 검증하였다. 정량적 실험에서는 등록 오차와 가림 정확도를 각각 1 mm 이하, 95 % 이상으로 보고했으며, 휴리스틱 평가에서는 전통적인 2D 매뉴얼 대비 조립 시간 감소와 오류 감소 효과가 확인되었다. 전체적으로 BRICKxAR는 마커 설계, 셰이더 기반 가림, 손 검출이라는 세 축을 결합해 소형 부품 조립에 필요한 고정밀·고신뢰 AR 안내를 실현했으며, 향후 교육·제조 현장에 적용 가능한 기반 기술을 제공한다.