오디오비주얼 제로샷 학습을 위한 통합 임베딩

본 논문은 “오디오‑비주얼 제로샷 학습”이라는 새로운 문제 설정을 제시하고, 이를 해결하기 위한 통합 임베딩 프레임워크와 데이터셋을 동시에 제공한다. 기존 제로샷 연구는 주로 이미지와 텍스트 사이의 관계에 초점을 맞추었으며, 비디오에 대한 연구는 제한적이었다. 특히 비디오 제로샷에서 오디오 정보를 무시하는 경우가 대부분이었다. 저자들은 오디오가 시각적으로 가려진 상황이나 특정 사운드가 강하게 나타나는 경우에 중요한 보조 정보를 제공한다는 직관에 기반해, 오디오와 비주얼을 동시에 활용하는 모델을 설계한다. **데이터 구축** - 원본은 Google이 공개한 AudioSet(527개의 오디오 이벤트 라벨, 유튜브 비디오 클립)이다. - 저자들은 다중 라벨을 제거하고, 각 비디오가 하나의 라벨만 갖도록 필터링해 33개의 클래스로 구성된 AudioSet‑ZSL 서브셋을 만든다. - 각 클래스는 최소 292개의 샘플을 포함해 총 156,416개의 비디오·오디오 쌍을 제공한다. 클래스는 동물(개, 고양이), 교통수단(자동차, 구급차), 환경(비, 바람) 등 다양하게 선정돼, 일반적인 실생활 상황을 포괄한다. **모델 구조** 1. **특징 추출** - 비주얼: 사전 학습된 3D CNN(예: I3D) 혹은 2D CNN+Temporal Pooling을 사용해 프레임 수준 특징을 추출한다. - 오디오: VGGish 혹은 WaveNet 기반의 오디오 CNN을 이용해 스펙트로그램 특징을 얻는다. - 텍스트: 클래스 라벨을 Word2Vec/GloVe 등 사전 학습된 워드 임베딩으로 변환한다. 2. **공동 임베딩** - 각각의 특징을 작은 MLP(g_a, g_v, g_t)로 투사해 동일 차원의 임베딩 공간에 매핑한다. 사전 학습된 CNN 파라미터는 고정하고, MLP 파라미터만 학습한다. 3. **손실 함수** - **텍스트‑오디오 트리플렛 손실(L_TA)**와 **텍스트‑비주얼 트리플렛 손실(L_TV)**: (anchor, positive, negative) 삼중항을 구성해, 같은 클래스의 텍스트와 모달리티 임베딩 거리는 작게, 다른 클래스와는 마진 δ만큼 크게 만든다. - **오디오‑비주얼 L2 손실(L_AV)**: 동일 비디오에서 추출된 오디오와 비주얼 임베딩 사이의 Euclidean 거리 제곱을 최소화한다. 이는 두 모달리티가 자연스럽게 정렬되도록 한다. - 전체 손실은 세 손실의 가중합 L = λ·L_AV + γ·Σ_{pairs} (α_v·L_TV + α_a·L_TA) 로 정의된다. 여기서 α_v, α_a는 모달리티 가중치이다. 4. **모달리티 어텐션** - f_attn 네트워크는 오디오·비주얼 특징을 concat 후 스칼라 α를 출력한다. α가 0~1 사이의 값으로, α_v = α, α_a = 1‑α 로 손실에 반영한다. - 학습 시, 각 모달리티별 클래스 예측 확률의 엔트로피(e_a, e_v)를 계산하고, 엔트로피 차이가 일정 임계값 ξ보다 크면 해당 모달리티를 ‘지배’로 판단한다. 이를 기반으로 교차 엔트로피 손실 L_CE‑α 를 추가해 α를 지도한다. - 테스트 시, α가 사전에 정한 임계값을 초과하면 지배 모달리티만 사용해 거리 기반 최근접 검색을 수행한다. 이는 모델이 “오디오가 더 신뢰할 만하다”는 상황에서 오디오만 활용하도록 만든다. **추론 및 GZSL 보정** - 제로샷 분류는 임베딩된 오디오·비주얼을 각각 텍스트 임베딩과 거리 계산 후 평균을 취해 가장 가까운 클래스를 선택한다. - 검색은 쿼리(오디오 혹은 비주얼)와 모든 데이터베이스 임베딩 사이의 거리 순으로 정렬한다. - GZSL에서 흔히 발생하는 ‘보이는 클래스 편향’을 완화하기 위해 calibrated stacking 방식을 적용한다. 거리 기반 예측에 보정 파라미터 β를 더해 보이는 클래스의 점수를 인위적으로 낮춘다. **실험 및 결과** - **베이스라인**: 단일 비주얼 임베딩, 단일 오디오 임베딩, 두 모달리티를 단순 concatenation한 모델을 비교한다. - **성능**: 멀티모달 트리플렛+L2 손실 모델은 Top‑1 정확도와 mAP 모두에서 비주얼 단일 모델 대비 4~7%p 상승을 보였다. 특히 ‘강아지’·‘비’ 등 시각적 단서가 약한 클래스에서 오디오 기여도가 크게 나타났다. - **어텐션 효과**: 어텐션을 도입한 모델은 전체 정확도는 비슷하지만, 지배 모달리티가 명확히 구분되는 샘플에서 5~10%p 향상을 기록했다. 또한, 어텐션 가중치를 시각화해 어떤 샘플에서 오디오가 주도했는지 직관적으로 확인할 수 있었다. - **GZSL 보정**: calibrated stacking 파라미터 β를 튜닝해 보이는/보이지 않는 클래스 간의 정확도 균형을 맞추었으며, 전체 harmonic mean이 3~5%p 상승했다. **의의 및 한계** - 오디오와 비주얼을 동시에 활용함으로써 제로샷 비디오 인식의 새로운 가능성을 제시한다. - 모달리티 어텐션은 모델 해석성을 높이고, 실제 환경(예: CCTV, 로봇)에서 가시성이 낮은 상황에 대비할 수 있다. - 데이터는 AudioSet에서 추출했지만, 라벨이 단일 클래스로 제한돼 있어 다중 라벨 상황에 대한 확장은 아직 미흡하다. 또한, 오디오와 비주얼의 시간 정렬이 전제되므로, 비동기적인 멀티미디어 데이터에는 추가적인 정렬 메커니즘이 필요할 수 있다. **결론** 본 연구는 (1) 오디오‑비주얼 멀티모달 제로샷 학습을 위한 공동 임베딩 프레임워크, (2) 이를 검증할 수 있는 대규모 멀티모달 데이터셋, (3) 상황에 따라 지배 모달리티를 자동 선택하는 어텐션 메커니즘을 제시한다. 실험을 통해 오디오가 비주얼을 보완하여 제로샷 분류·검색 성능을 크게 향상시킴을 입증했으며, 향후 멀티모달 인식, 로봇 인지, 영상 검색 등 다양한 응용 분야에 활용될 수 있는 기반을 제공한다.