오디오‑비주얼 학습을 위한 에너지 효율적인 이진 주의 융합 프레임워크

초록

본 논문은 오디오와 비주얼 데이터를 결합하는 멀티모달 학습에서, 기존의 이차원(Quadratic) 복잡도를 갖는 주의 메커니즘의 한계를 극복하고자 선형 O(N) 복잡도를 구현한 이진 연산 기반의 Cross‑Modal Q‑K Attention(CMQKA)을 제안한다. CMQKA를 핵심으로 하는 계층적 스파이킹 네트워크 SNNergy는 세 단계의 다중 스케일 융합 구조를 통해 지역 패턴과 전역 컨텍스트를 동시에 포착하면서, 이벤트‑드리븐 이진 스파이크 연산으로 에너지 소비를 크게 줄인다. 실험 결과 CREMA‑D, AVE, UrbanSound8K‑AV 등 주요 벤치마크에서 정확도와 효율성 모두 기존 최첨단을 능가한다.

상세 분석

CMQKA는 기존 Transformer 기반의 Self‑Attention이 갖는 O(N²) 연산량을 피하기 위해 Query‑Key만을 이용한 이진 연산 체계를 도입한다. 구체적으로, 오디오와 비주얼 각각에서 추출된 토큰 집합을 Q와 K로 변환한 뒤, 비트‑단위 XOR 및 POPCOUNT 연산을 활용해 유사도 행렬을 계산한다. 이 과정은 부동소수점 곱셈을 전혀 사용하지 않으며, 하드웨어 수준에서 비트 연산이 매우 저전력임을 이용해 에너지 효율을 극대화한다.
양방향 구조는 Audio‑→‑Visual과 Visual‑→‑Audio 두 방향의 주의를 동시에 수행함으로써, 한 모달리티의 중요한 시공간 특징이 다른 모달리티에 효과적으로 전달되도록 설계되었다. 또한, Residual Fusion 모듈은 각 모달리티의 원본 특징을 보존하면서 교차 주의로 얻은 보강 정보를 가중합한다. 이는 모달리티 불균형 문제를 완화하고, 학습 초기에 특정 모달리티가 과도하게 지배하는 현상을 방지한다.
SNNergy는 CMQKA를 세 단계의 계층적 스파이킹 블록에 삽입한다. 첫 단계에서는 높은 해상도(예: 64×64)에서 지역적인 오디오‑비주얼 상관관계를 포착하고, 두 번째 단계에서는 중간 해상도(32×32)로 다운샘플링하면서 보다 추상적인 특징을 융합한다. 최종 단계에서는 매우 낮은 해상도(16×16)에서 전역 컨텍스트를 통합한다. 각 단계마다 토큰 수 N이 감소하므로, 선형 복잡도의 CMQKA는 전체 파이프라인에서 계산량을 거의 일정하게 유지한다.
스파이킹 뉴럴 네트워크(LIF 뉴런) 기반 구현은 이벤트‑드리븐 연산 특성상, 입력 스파이크가 발생하지 않을 때는 거의 전력이 소모되지 않는다. 논문에서는 PyTorch‑based SNN 프레임워크와 neuromorphic 시뮬레이터를 이용해 FLOPs와 실제 전력 소모를 측정했으며, 동일한 정확도를 달성하는 기존 비스파이킹 멀티모달 모델 대비 5배 이상 에너지 절감 효과를 보고했다.
실험에서는 데이터 전처리 단계에서 멜 스펙트로그램(128‑dim)과 프레임 단위 RGB 이미지(224×224)를 사용했으며, CMQKA‑기반 융합이 없는 베이스라인(단순 Concatenation, Cross‑Modal Attention with quadratic complexity)과 비교해 평균 2.3%~3.1%의 정확도 향상을 기록했다. 특히, 노이즈가 심한 환경에서 CMQKA는 이진 주의 가중치가 노이즈에 강인함을 보여, 실시간 모바일/엣지 디바이스 적용 가능성을 높였다.