멀티모달 에이전트 비디오 플레이어로 시각장애인 영상 접근성 혁신

초록

본 논문은 멀티모달 대형 언어 모델(MLLM)을 기반으로 한 대화형 에이전트 “Blue”를 탑재한 비디오 플레이어(MAVP)를 제안한다. 사용자는 음성 명령으로 자동 생성된 상세 오디오 설명을 듣고, 장면·객체·배경 정보 등을 실시간으로 질문·응답할 수 있다. 18회의 공동 설계와 8명의 BLV 참가자 대상 정성 연구를 통해 사용자는 단순 기능이 아닌 ‘자율성’과 ‘개인적 주도권’을 원한다는 점을 확인했으며, AI의 오류(환각) 상황에서도 메타 대화를 통해 신뢰 회복이 가능함을 보였다.

상세 분석

이 연구는 시각장애인(Blind and Low Vision, BLV) 사용자의 영상 접근성 문제를 근본적으로 재구성한다는 점에서 학술적·실용적 의의가 크다. 첫째, 기존 오디오 디스크립션(AD)은 사전 녹음된 정적인 설명에 머물러 사용자가 추가적인 질문을 할 수 없으며, 상세도와 맥락이 제한적이었다. MAVP는 최신 멀티모달 대형 언어 모델을 활용해 영상 프레임을 실시간으로 해석하고, 텍스트·음성·시각 정보를 통합한 ‘멀티레이어 프롬프트 오케스트레이션’을 구현한다. 이를 통해 자동 생성된 AD는 단일 레이어가 아니라, 사용자가 요구하는 수준(간략·중간·상세)으로 동적으로 조정 가능하다.

둘째, 대화형 인터페이스 설계 과정에서 18회의 사용자 피드백 세션을 진행했으며, 이는 ‘사용자 중심 설계(User‑Centered Design)’ 원칙을 충실히 따랐다. 특히, BLV 사용자는 “독립성”과 “개인적 주도권”을 가장 큰 요구로 제시했으며, 이는 기존 연구에서 간과된 정성적 요소다. 설계팀은 초기 MLLM의 기본 프롬프트가 시각적 사용자에 최적화돼 있어 BLV에게는 불친절했음을 발견하고, 프롬프트를 다층화·메타‑프롬프트화함으로써 응답의 정확도와 친밀도를 크게 향상시켰다.

셋째, 정성 연구(8명 BLV + 1 sighted)에서는 대화형 AI가 제공하는 ‘메타‑대화’가 신뢰 회복에 핵심 역할을 한다는 점을 밝혀냈다. AI가 환각(허위 정보)을 생성했을 때, 시스템이 스스로 한계와 오류 가능성을 언급하고 사용자의 질문에 재검증하는 과정을 거치면, 사용자는 “AI가 인간과 동등하게 책임을 지는 존재”라는 인식을 형성한다. 이는 접근성 기술에서 흔히 발생하는 ‘신뢰 붕괴’를 예방하는 새로운 설계 패턴으로 평가된다.

넷째, 기술 구현 측면에서 연구팀은 Retrieval‑Augmented Generation(RAG) 방식을 도입해 전체 영상에 대한 인덱스를 사전 구축하고, 사용자의 질의에 따라 해당 구간을 빠르게 검색·생성한다. 이는 영상이라는 시계열 데이터의 특성을 고려한 효율적인 접근 방식이며, 기존 이미지‑기반 VLM보다 높은 정확도와 응답 속도를 제공한다.

마지막으로, 이 논문은 “접근성 = 기능 제공”이라는 전통적 관점을 넘어, ‘대화형 협업’과 ‘사용자 주도형 탐색’이라는 새로운 접근성 패러다임을 제시한다. 향후 멀티모달 AI가 보편화됨에 따라, 이와 유사한 대화형 에이전트를 다양한 미디어(스트리밍, 교육, 실시간 방송)로 확장할 가능성이 크다.