오디오 셀프슈퍼비전에서 경량화된 분산 가중 마스킹 전략

본 논문은 Masked Autoencoders(MAE) 기반의 셀프‑슈퍼비전(SSL)에서 마스크 전략이 오디오 스펙트로그램 표현 학습에 미치는 영향을 체계적으로 조사하고, 새로운 경량 마스크 기법인 Dispersion‑Weighted Masking(DWM)을 제안한다. 서론에서는 이미지 도메인에서 블록 마스크, 역 블록 마스크(IBM) 등 구조화된 마스크가 성능을 향상시킨 사례를 소개하고, 오디오 분야에서는 대부분이 MAE에서 제안된 무작위 마스크를 그대로 사용하고 있음을 지적한다. 최근 EA‑T와 AaPE가 IBM을 적용해 성능 개선을 보고했지만, 마스크 전략이 다른 학습 요소와 얽혀 있어 순수한 효과를 평가하기 어렵다는 점을 강조한다. 또한, SGIM과 같은 정보‑기반 마스크는 패치 간 유사도 행렬을 고유값 분해하여 객체‑중심 마스크를 생성하지만, O(N³) 복잡도로 인해 대규모 사전 학습에 비현실적이다. 이러한 배경에서 저자는 “스펙트럼 희소성”이라는 오디오 고유 특성을 활용해 마스크를 설계하고자 한다. 대부분의 오디오 이벤트는 특정 주파수 대역에 집중되며, 나머지 대역은 에너지가 낮거나 비어 있다. 따라서 패치별 평균 절대 편차(MAD)를 측정하면 정보가 풍부한 영역을 추정할 수 있다. DWM은 입력 스펙트로그램을 패치 단위로 나눈 뒤, 각 패치의 MAD를 ωᵢ로 계산하고, 이를 정규화해 마스크 샘플링 확률 P(i) = (ωᵢ+ε)/∑(ωⱼ+ε) 로 변환한다. 이후 목표 마스크 비율 r_m에 맞춰 가중 샘플링으로 초기 마스크 집합 M₀을 만든다. 힌트 비율 r_h(학습 진행에 따라 1→0으로 스케줄링)만큼 M₀에서 무작위로 선택된 패치를 가시 영역으로 복원하고, 동일한 수의 패치를 다시 마스크한다. 이 과정은 무작위성을 유지하면서도 “정보‑밀집” 영역을 우선 마스크하도록 만든다. 알고리즘 복잡도는 O(N)이며, 추가 연산은 MAD 계산과 확률 정규화 정도에 불과해 기존 무작위 마스크와 거의 동일한 학습 속도를 유지한다. 실험은 세 가지 대표적인 SSL 프레임워크—MSM‑MAE(이미지‑기반 MAE 변형), M2D(마스크된 패치 표현 예측), M2D‑CLAP(텍스트‑오디오 대조 학습 결합)—에 각각 무작위 마스크, IBM, DWM을 적용해 사전 학습을 수행한다. 사전 학습 설정은 원 논문과 동일하게 마스크 비율 0.75(MSM‑MAE)·0.7(M2D·M2D‑CLAP)이며, IBM은 블록 크기 5×5, 힌트 비율 초기값 1.0, 스케줄링 파라미터 γ=2를 사용한다. 평가에는 환경음(ESC‑50, UrbanSound8K, AudioSet), 음성 명령(SPCV2, VoxCeleb1, VoxForge, CREMA‑D), 음악(GTZAN, NSynth, Surge) 등 10개 이상의 다운스트림 분류 과제가 포함된다. 두 가지 평가 방식—선형 평가(프리‑트레인된 인코더를 고정하고 선형 분류기만 학습)와 파인튜닝(전체 모델을 미세조정)—을 모두 사용해 일반화와 과제 특화 성능을 동시에 측정한다. 결과는 다음과 같다. 1) IBM은 환경음 과제에서 무작위 마스크 대비 평균 +0.9%p 정도의 향상을 보였지만, 음성·음악 과제에서는 -4~ -8%p까지 성능이 떨어졌다. 이는 IBM이 연속적인 블록을 가시 영역으로 남겨 특정 이벤트에 민감하지만, 전체 스펙트럼 정보를 고르게 학습하지 못하기 때문이다. 2) SGIM은 성능 향상이 있었지만, 사전 학습당 에포크당 7분(무작위) 대비 35분( SGIM)으로 5배 이상 느려 실용성이 낮았다. 3) DWM은 전반적인 성능을 유지하거나 소폭 향상시켰다. 예를 들어 MSM‑MAE에서 ESC‑50은 +0.7%p, SPCV2는 +0.2%p, GTZAN은 +0.9%p 정도의 개선을 보였으며, M2D와 M2D‑CLAP에서도 유사한 추세가 관찰되었다. 특히 IBM이 크게 성능을 저하시키던 음성 과제에서 DWM은 무작위와 거의 동일하거나 약간 앞서는 결과를 기록했다. 4) 계산 측면에서 DWM은 무작위 마스크와 동일한 학습 시간(약 7분/epoch)으로, SGIM 대비 5배 빠른 효율성을 제공한다. 5) DWM은 멀티모달 프레임워크(M2D‑CLAP)에서도 텍스트‑오디오 정렬 성능에 부정적인 영향을 주지 않으며, 오히려 +0.4%p 정도의 mAP 향상을 보였다. 종합적으로, DWM은 “스펙트럼 구조 기반 가중 마스크”라는 새로운 설계 원칙을 제시하고, 계산 비용을 최소화하면서도 다양한 오디오 도메인에서 일반화와 과제 특화 성능을 동시에 개선한다는 점에서 의미가 크다. 논문 말미에서는 DWM 코드를 공개(https://github.com/onolab‑tmu/audio‑ssl‑masking)하여 재현성을 확보하고, 향후 마스크 설계 연구에 대한 실용적인 베이스라인을 제공한다.