소음에 강한 시각‑청각 음성인식을 위한 교차모달 병목 융합

초록

본 논문은 오디오와 비주얼 정보를 효율적으로 결합하기 위해 학습 가능한 병목 토큰을 도입한 CoBRA 프레임워크를 제안한다. 병목 토큰을 통해 양쪽 스트림이 제한된 경로로 교차 교류함으로써, 잡음이 심한 상황에서도 시각 정보를 효과적으로 활용한다. LRS2·LRS3 데이터셋에서 제한된 학습량(≈664 시간)에도 불구하고 기존 대규모 모델에 근접한 성능을 보이며, 특히 중간 레이어에서의 병목 융합이 가장 큰 성능 향상을 제공한다.

상세 분석

CoBRA는 기존 AVSR 시스템이 겪는 두 가지 주요 문제—모달리티 간 교차 상호작용의 비효율성 및 높은 연산 비용—를 병목 토큰(bottleneck tokens)이라는 작은 집합으로 해결한다. 이 토큰은 고정된 차원 D와 길이 F_b(32)를 갖으며, 오디오와 비디오 인코더의 특정 레이어(L_f = 4)에서 양쪽 시퀀스와 concat된 뒤 Transformer 블록을 통해 업데이트된다. 두 가지 업데이트 전략을 실험했는데, (a) 순차적(sequential) 방식은 먼저 오디오‑병목‑비디오 순으로 정보를 흐르게 하고, (b) 평균(mean) 방식은 양쪽 모달리티에서 병목 토큰을 동시에 업데이트한다. 실험 결과, 순차적 방식이 평균보다 약간 낮은 WER을 기록했지만 차이는 미미했다.

인코더는 Conformer 구조를 채택해 로컬 컨볼루션과 전역 self‑attention을 결합, 음성은 1‑D ResNet, 영상은 3D + 2D ResNet을 전처리 단계로 사용한다. 병목 토큰을 삽입하기 전까지는 각 모달리티가 독립적으로 12‑layer Conformer을 통과한다. 이후 병목 토큰을 통해 교차 정보를 교환하고, 최종적으로 6‑layer Transformer 디코더가 텍스트 시퀀스를 예측한다. 학습은 CTC와 attention 기반 손실을 혼합한 하이브리드 방식이며, 비디오 CTC 손실을 추가해 양쪽 모달리티의 정렬을 강화한다.

데이터 측면에서 LRS2(≈224 h)와 LRS3(≈438 h)를 사용했으며, 훈련 시에는 babble noise를 -5 dB~20 dB 범위에서 랜덤 혼합했다. 평가에서는 pink와 white noise를 별도 SNR 조건에서 적용해 모델의 일반화 능력을 검증했다. 결과적으로 CoBRA는 LRS3에서 1.6 % WER, LRS2에서 2.8 % WER를 달성했으며, 이는 664 시간 훈련만으로도 3 k‑hour 규모 모델(예: Whisper‑Flamingo)과 경쟁한다. 특히 -7.5 dB와 같은 극악조건에서 babble noise에 대해 40 % 이상의 상대 개선을 보였다.

Ablation 실험은 세 가지 축을 중심으로 진행되었다. 첫째, 병목 토큰 수(F_b) 증가가 성능 향상에 기여함을 확인했으며, 4 → 16 → 32 토큰 순으로 WER이 감소했다. 둘째, 병목 삽입 레이어(L_f)의 위치가 가장 중요한 하이퍼파라미터였으며, 중간 레이어(L_f = 4)가 가장 낮은 오류율을 기록했다. 초기(L_f = 0)와 후기(L_f = 8) 삽입은 각각 과도한 정보 혼합과 부족한 교차 교류로 성능이 떨어졌다. 셋째, 순차와 평균 전략 모두 baseline보다 우수했지만, 순차가 전반적으로 약간 더 안정적인 결과를 제공했다.

시각‑청각 상호작용을 정량화하기 위해 attention rollout을 확장 적용했으며, 소음이 심해질수록 비디오→오디오 영향력( f̄_v→a )이 급격히 증가하고, 오디오→비디오 영향력( f̄_a→v )은 감소한다는 현상을 관찰했다. 이는 모델이 잡음에 의해 손상된 음성 정보를 보완하기 위해 입술 움직임 등 시각 정보를 점점 더 많이 활용한다는 것을 의미한다. 이러한 동적 가중치 조정은 CoBRA가 실제 환경에서 잡음 적응형으로 동작함을 시사한다.

전체적으로 CoBRA는 (1) 병목 토큰을 통한 경량화된 교차 모달리티 교환, (2) 중간 레이어에서의 최적화된 융합 위치, (3) 제한된 데이터에서도 강인한 잡음 내성을 제공한다는 세 가지 핵심 기여를 한다. 향후 연구에서는 병목 토큰의 동적 크기 조정, 멀티‑스피커 상황에 대한 확장, 그리고 대규모 사전학습과의 결합을 통해 더욱 일반화된 AVSR 시스템을 구축할 수 있을 것으로 기대된다.