대형 야외 혼합현실 전시에서 인공지능 대화 가이드의 설계와 효과

초록

본 논문은 대규모 야외 혼합현실(MR) 전시에서 방문객이 자유롭게 탐색하면서도 작품 해설을 얻을 수 있도록, 작은 비인간형 동반자로 구현된 다국어 대화형 AI 가이드 “Dream‑Butterfly”를 설계·배포하고, 인간 가이드가 안전을 담당하고 AI가 해설을 주도하는 두 조건을 비교 실험하였다. 설문·인터뷰 결과, AI 주도 해설이 접근성·반응성·몰입감에 긍정적 영향을 미치지만, 책임 전이와 작업 부하 관리 측면에서 새로운 설계 과제가 도출되었다.

상세 분석

이 연구는 “Research‑through‑Design(RtD)” 접근법을 채택해, 실제 캠퍼스 규모 야외 MR 전시 현장에서 디자인·시행·평가의 순환 과정을 거쳤다. 첫 번째 단계에서는 전시 해설이 규모에 비해 병목 현상을 보이는 문제를 정의하고, 인간 스태프는 안전·장비 지원에 전념하도록 역할을 제한하였다. 두 번째 단계에서는 세 차례 파일럿을 통해 비인간형(버터플라이 형태) 동반자의 외형·동작·상호작용 방식을 반복적으로 개선했으며, 특히 ‘소음·시각적 방해 최소화’를 목표로 경량화된 3D 모델과 근접 추적 알고리즘을 적용했다. 세 번째 단계에서는 SLAM 기반 위치 추적, 다국어 음성 인식, 전시 자료 기반 검색·제한적 생성(Large Language Model + Retrieval) 파이프라인을 통합한 백엔드를 구축했다.

실험 설계는 N=24명의 참가자를 두 그룹(인간‑주도 vs. AI‑주도)으로 나누어, 동일한 전시 환경에서 안전 스태프는 동일하게 배치하고, AI 가이드는 양쪽 모두 이용 가능하도록 함으로써 ‘주된 해설 채널’만을 변수로 설정했다. 사후 설문은 설명 접근성, 반응성, 몰입감, 인지적·신체적 작업 부하 등을 Likert 척도로 측정했으며, 반구조화 인터뷰를 통해 책임 전이와 협업 인식 등을 질적 분석했다.

주요 결과는 다음과 같다. ① AI‑주도 그룹은 해설 접근 빈도가 32% 높았으며, ‘즉각적인 답변 제공’에 대한 만족도가 유의하게 높았다( p<0.05). ② 몰입감 점수는 약간 상승했지만, ‘현실 세계와의 경계 인식’이 약해져 안전에 대한 경계 의식이 감소하는 경향을 보였다. ③ 작업 부하 측면에서는 AI‑주도 그룹이 음성 입력·청취에 더 많은 인지적 자원을 소비했으며, 특히 다국어 전환 시 오류율이 상승했다. ④ 인터뷰에서는 방문객이 AI를 ‘보조 도구’로 인식하면서도, 긴급 상황이나 기술적 문제 발생 시 인간 스태프에게 책임을 전가하려는 경향이 드러났다.

이러한 발견을 바탕으로 저자들은 (1) “해설 전용·안전 전용” 역할 구분을 명확히 하는 UI/UX 경계 표시, (2) 다국어·전시 맥락에 맞는 오류 회복 메커니즘, (3) AI와 인간 스태프 간의 ‘책임 공유 프로토콜’ 설계가 필요함을 제안한다. 또한, 비인간형 동반자의 ‘낮은 사회적 위험성’이 사용자 친밀도와 신뢰 형성에 긍정적 영향을 미친다는 점을 강조한다.

전반적으로 이 논문은 대규모 야외 MR 전시에서 AI 기반 대화 가이드가 해설 접근성을 크게 향상시킬 수 있음을 실증하면서도, 안전·책임·작업 부하와 같은 물리·사회적 제약을 동시에 고려한 혼합 인간‑AI 설계 프레임워크의 필요성을 제시한다.