텍스트 중개를 통한 오디오 이미지 새 종 검색 페어 없이 시각적 정렬 달성

초록

본 논문은 이미지‑텍스트 모델(BioCLIP‑2)의 텍스트 임베딩을 시각적 의미의 중개체로 활용해, 이미지‑오디오 쌍 없이도 오디오와 이미지 간 정렬을 이끌어내는 방법을 제안한다. 사전 학습된 오디오‑텍스트 모델(BioLingual)의 오디오 인코더를 텍스트 임베딩과 대비시키는 대조 손실로 미세조정하고, 선형 프로젝션을 통해 BioCLIP‑2와 동일 차원의 공간에 매핑한다. 결과적으로 오디오와 이미지가 동일 텍스트 공간에 정렬되어, 오디오‑이미지 검색 성능이 기존 제로샷 및 텍스트 매핑 기반 베이스라인을 능가한다.

상세 분석

이 연구는 생물다양성 모니터링에서 청각 신호를 시각적 근거와 연결하는 ‘오디오‑투‑이미지 검색’ 문제를 다룬다. 기존 접근법은 대규모 오디오‑이미지 페어 데이터를 필요로 하거나, 다중 모달리티를 동시에 학습시키는 복잡한 파이프라인을 사용한다. 그러나 실제 현장에서는 음성 기록과 시각적 관찰이 동시에 이루어지는 경우가 드물어 이러한 데이터는 매우 희소하다. 논문은 이러한 제약을 극복하기 위해 텍스트를 ‘공통 의미 매개체’로 삼는다. 핵심 아이디어는 두 사전 학습 모델—이미지‑텍스트 모델 BioCLIP‑2와 오디오‑텍스트 모델 BioLingual—가 동일한 어휘(종명, 학명, 분류학적 설명)를 공유한다는 점이다. BioCLIP‑2의 텍스트 임베딩은 이미지와 강하게 정렬되면서 시각적·계통학적 구조를 내포한다. 따라서 이 텍스트 공간을 목표로 삼아 BioLingual의 오디오 인코더를 미세조정하면, 오디오 표현이 자연스럽게 시각적 의미를 획득한다.

구현 측면에서 저자는 다음과 같은 절차를 따른다. 1) BioCLIP‑2와 BioLingual의 텍스트 인코더를 고정한다. 2) BioLingual의 오디오 인코더 출력에 선형 프로젝션 g를 적용해 차원을 BioCLIP‑2와 맞춘다(d_A → d_I). 3) 동일한 텍스트 설명을 가진 오디오‑텍스트 쌍을 이용해 대조 손실 L_distill을 최소화한다. 이때 손실은 같은 텍스트와 매칭된 오디오를 가장 높은 코사인 유사도로 끌어올리며, 다른 텍스트와는 멀어지게 만든다. 중요한 점은 학습 과정에서 이미지 데이터가 전혀 사용되지 않으며, 텍스트 인코더는 전혀 업데이트되지 않는다. 따라서 ‘텍스트‑기반 지식 전이’가 일방향으로만 일어나며, 이미지‑텍스트 모델의 시각적 의미가 오디오 인코더에 주입된다.

학습 데이터는 iNatSounds의 오디오‑텍스트 쌍만 사용한다. 이는 수천 종에 대한 풍부한 텍스트 라벨(학명, 일반명, 서술형 설명)을 포함한다. 실험에서는 SSW60(60종) 등 다양한 포컬 및 사운드스케이프 벤치마크에 대해 세 가지 평가를 수행한다. 첫째, 오디오‑이미지 정렬을 측정하기 위해 오디오 쿼리를 이미지 풀에 매핑해 Top‑K 정확도를 산출한다. 둘째, 오디오‑텍스트 정렬 성능을 유지하면서도 기존 BioLingual 대비 음성 구분 능력이 손상되지 않는지를 확인한다. 셋째, 텍스트‑투‑오디오 검색 성능을 검증한다. 결과는 대조 손실을 통한 미세조정이 오디오‑텍스트 정렬을 크게 향상시켰으며, 특히 SSW60에서 Top‑1 정확도가 기존 제로샷 조합(이미지‑텍스트 + 오디오‑텍스트)보다 현저히 높았다. 또한, 사운드스케이프 데이터에서도 종 간 구분 능력이 유지되면서 시각적 의미가 추가된 덕분에 이미지 검색에서 의미 있는 근접성을 보였다.

이 접근법의 장점은 (1) 이미지 데이터를 전혀 필요로 하지 않아 데이터 수집 비용을 크게 절감한다, (2) 사전 학습된 대규모 멀티모달 모델을 그대로 활용해 구현이 간단하고 학습 비용이 낮다, (3) 텍스트 공간이 시각·계통학적 구조를 내포하므로 새로운 종이나 미지의 종에 대해서도 일정 수준의 일반화가 가능하다. 한계로는 텍스트 라벨의 품질과 다양성에 크게 의존한다는 점, 그리고 선형 프로젝션만 사용함으로써 복잡한 비선형 정렬을 완전히 포착하지 못할 가능성이 있다. 향후 연구에서는 다중 헤드 어텐션 기반의 비선형 매핑이나, 도메인 적응을 위한 교차 모달 정규화 기법을 도입해 정렬 정밀도를 더욱 높일 수 있을 것이다.