에고AVU: 첫인칭 영상의 청각·시각 통합 이해 엔진

초록

EgoAVU는 대규모 자동 데이터 엔진을 통해 egocentric 영상에 대한 오디오·비주얼 내레이션·질문·답변을 생성하고, 3 M QA 샘플을 담은 EgoAVU‑Instruct와 3 K 검증 샘플을 담은 EgoAVU‑Bench을 구축한다. 기존 MLLM이 시각에 편향된 한계를 극복하고, 오디오와 시각 정보를 정확히 매핑하도록 파인튜닝함으로써 벤치마크 성능을 113 %까지 향상시킨다.

상세 분석

EgoAVU 논문은 첫인칭(egocentric) 영상에서 청각·시각 정보를 동시에 이해하는 데 필요한 데이터 부족 문제를 근본적으로 해결한다는 점에서 의의가 크다. 저자들은 기존 Ego4D·MultiHop‑EgoQA 등에서 제공되는 인간 내레이션이 시각 중심이며, 오디오 정보는 거의 활용되지 않는다는 한계를 짚고, 이를 보완하기 위해 네 단계 파이프라인을 설계했다. 첫 번째 단계에서는 원본 내레이션에 환경·객체·소리 캡션을 추가해 멀티모달 컨텍스트를 풍부하게 만든다. 여기서 사용된 이미지 캡셔너(Qwen2.5‑VL)와 오디오 캡셔너는 각각 독립적으로 작동해 모달리티 간 혼동을 최소화한다. 두 번째 단계는 ‘토큰 기반 비디오 필터링’으로, 풍부한 오디오·시각 변화를 포함하는 클립을 선택해 데이터 다양성을 확보한다. 세 번째 단계에서는 ‘멀티모달 컨텍스트 그래프(MCG)’를 구축해 객체, 행동, 소리 간의 시간·공간 관계를 구조화하고, 이를 오픈소스 LLM이 파싱해 일관된 오디오·비주얼 내레이션을 생성한다. 마지막으로 이 내레이션을 기반으로 QA 쌍을 자동 생성해 대규모 학습용(EgoAVU‑Instruct)과 평가용(EgoAVU‑Bench) 데이터셋을 만든다. 실험 결과, 기존 MLLM(Qwen2.5‑Omni, VideoLLaMA2 등)은 시각에 과도하게 의존해 오디오 정보를 무시하거나 잘못 매핑하는 경향이 있었으며, EgoAVU‑Instruct로 파인튜닝한 모델은 벤치마크에서 평균 113 % 성능 향상을 보였다. 특히, EgoTempo와 EgoIllusion 같은 외부 egocentric 벤치마크에서도 최대 28 %의 상대적 개선을 기록해 전이 학습 효과가 입증되었다. 전체 파이프라인이 오픈소스 모델만을 활용한다는 점은 재현성과 확장성을 크게 높이며, 향후 다양한 첫인칭 멀티모달 어플리케이션(AR, 로봇, 헬스케어 등)에 적용 가능성을 시사한다.