실시간 자동차 매개현실 구현 MIRAGE

초록

MIRAGE는 최신 객체 검출·분할·깊이 추정·인페인팅 모델을 Unity에 통합해, 실제 차량에 장착한 HMD와 전방 카메라만으로 15가지 증강·감쇠·변형 효과를 실시간으로 제공한다. 9명의 전문가를 대상으로 한 현장 실험에서 사용자는 효과에 흥미를 느꼈으며, 기술적 한계와 활용 시나리오를 제시했다. 논문은 AMR(Automotive Mediated Reality)이라는 새로운 디자인 스페이스를 정의하고, 윤리·상호작용 관점에서 향후 연구 방향을 논의한다.

상세 분석

본 논문은 자동차 매개현실(AMR)을 증강현실(AR), 감소현실(DR), 변형현실(ModR) 세 축으로 구분하고, 이를 하나의 프레임워크로 통합한 MIRAGE 시스템을 제안한다. 기술적으로는 YOLO‑11 기반의 실시간 객체 검출·시맨틱 분할, DepthAnythingV2 기반의 제로샷 깊이 추정, 그리고 MI‑GAN을 활용한 생성적 인페인팅을 Unity Inference Engine에 직접 탑재함으로써 별도 서버 없이도 34 FPS 이상의 처리 속도를 달성한다. 15개의 효과는 시각적 강조(윤곽선, 아이콘, 텍스트), 투명화·블러·삭제, 색상·스타일 변환, 객체 위치·크기 변환 등으로 구성돼, 사용자는 UI 패널을 통해 런타임에 자유롭게 조합·활성화할 수 있다.

전문가 사용자 연구(N=9)에서는 HMD를 착용한 승객이 15분간 실제 도로 주행 중 효과를 체험했으며, 전반적으로 ‘재미있다’, ‘정보 전달이 직관적이다’는 긍정적 반응을 보였다. 그러나 인페인팅 품질 저하, 깊이 추정 오차, 조명 변화에 대한 민감도 등 실시간 성능 한계가 지적되었다. 특히 DR 효과가 과도하게 적용될 경우 중요한 시각 정보를 차단할 위험이 있어, 상황‑의존적 필터링 메커니즘이 필요함을 강조한다.

연구는 또한 AMR이 운전자와 승객의 상황 인식(SA) 및 평가(신뢰, 안전감)와 어떻게 상호작용하는지를 인지적 모델(감각‑인식‑평가 순환)과 연결시켜 설명한다. SAE 레벨에 따라 매개현실의 역할이 달라질 수 있음을 제시하고, 윤리적 고려사항(프라이버시, 과잉 정보, 시각적 피로)과 인터랙션 디자인 원칙(투명성, 사용자 제어, 적시성)을 제안한다. 전반적으로 MIRAGE는 기존 연구가 AR에 국한됐던 한계를 넘어 DR·ModR까지 포괄하는 최초의 오픈소스 툴킷으로, 실차 실험 기반 AMR 연구의 진입 장벽을 크게 낮춘다.