협업형 AI·인간·사용자 통합 오디오 설명 워크플로우

초록

ADx3는 최신 비전‑언어 모델(VLM)을 활용한 자동 설명 생성(GenAD), 시각·청각 장애인을 위한 접근성 편집 인터페이스(RefineAD), 그리고 사용자가 실시간으로 추가 정보를 요청할 수 있는 질의 기능(AdaptAD)을 하나의 파이프라인에 결합한다. 7명의 접근성 전문가 평가 결과, VLM이 기본 수준의 설명을 제공하지만 최고 품질을 위해서는 인간 편집과 사용자 질의가 필수적임을 확인했다.

상세 분석

본 논문은 영상 콘텐츠의 접근성을 확대하기 위해 자동화와 인간·사용자 참여를 동시에 고려한 통합 시스템 ADx3를 제안한다. 핵심은 세 가지 모듈의 순환적 연계에 있다. 첫 번째 모듈인 GenAD는 Qwen2.5‑VL, Gemini 1.5 Pro, GPT‑4o와 같은 최신 VLM을 사용해 장면 단위 설명을 생성한다. 여기서 접근성‑지향 프롬프트를 반복적으로 다듬어, 객체·인물·텍스트·배경 정보를 균형 있게 포함하도록 설계하였다. 영상은 yt‑dlp와 ffmpeg로 다운로드·프레임 추출 후, OpenCLIP 시각 인코더로 프레임 임베딩을 얻고 코사인 유사도 기반 장면 경계 탐지를 수행한다. 이렇게 구분된 장면마다 이전 장면의 설명을 컨텍스트로 활용해 일관성을 유지한다.

두 번째 모듈인 RefineAD는 BLV(Blind and Low‑Vision) 사용자와 비전문 편집자가 동시에 접근 가능한 웹 기반 인터페이스를 제공한다. 텍스트 편집 외에도 타임라인 시각화, 오디오 동기화, 그리고 실시간 스크린리더 지원을 포함한다. 이는 기존의 YouDescribe·Rescribe와 달리 인간 편집자가 AI 초안을 빠르게 검증·수정하고, 스타일·타이밍·중복성을 조정할 수 있게 한다.

세 번째 모듈 AdaptAD는 최종 BLV 시청자가 재생 중에 “이 장면에 등장하는 인물은 누구인가?” 혹은 “화면에 보이는 텍스트를 알려줘”와 같은 구체적 질의를 입력하면, 백엔드 VLM이 해당 장면을 재분석해 추가 설명을 반환한다. 질의 로그는 자동으로 수집돼, 반복적으로 발생하는 정보 결핍 패턴을 식별하고 향후 GenAD 프롬프트와 파인튜닝 데이터에 반영한다.

평가에서는 7명의 접근성 전문가가 익명화된 VLM 초안을 기존 AD 가이드라인(DCMP, NCAM 등)에 따라 채점하였다. 결과는 세 모델 모두 “Good”(기본 기준 충족) 수준의 설명을 제공했으나, “Excellent”(전문가 수준)으로 승격시키려면 RefineAD를 통한 세밀한 편집과 AdaptAD를 통한 사용자 맞춤 보완이 필요함을 보여준다. 특히 텍스트‑중심 장면이나 복합 대화가 많은 영상에서 AI가 놓치는 세부 정보가 다수 보고되었으며, 이러한 결함은 사용자 질의 로그를 통해 효과적으로 드러났다.

시스템 설계상의 강점은 (1) 최신 VLM을 동일 파이프라인에 적용해 모델 간 성능을 직접 비교할 수 있음, (2) 인간·사용자 피드백을 자동으로 학습 루프에 삽입해 지속적인 품질 향상이 가능함, (3) 인라인 내러티브와 확장 내러티브 두 가지 전달 방식을 지원해 다양한 콘텐츠 유형에 유연하게 대응한다는 점이다. 한계로는 현재 VLM이 시간적 연관성을 완전히 파악하지 못해 장면 전환 시 일관성 오류가 발생하고, 질의 응답 지연이 실시간 시청 경험에 영향을 줄 수 있다는 점이다. 향후 연구에서는 멀티모달 시계열 모델을 도입해 시간적 추론을 강화하고, 사용자 인터랙션을 최소화하는 프리‑패딩 전략을 모색할 필요가 있다.