멀티모달 딥러닝을 활용한 새소리 식별

초록

본 논문은 음성 스펙트로그램과 위치·시간 메타데이터를 동시에 입력으로 사용하는 멀티모달 심층 신경망을 설계하고, 이를 BirdCLEF 2017 대회에 적용하여 2위~4위 성적을 달성한 연구이다.

상세 분석

이 연구는 기존의 오디오 전용 CNN 모델에 메타데이터를 결합함으로써 새소리 식별 정확도를 향상시키는 전략을 제시한다. 먼저, 원본 녹음 파일을 STFT 기반 멜 스펙트로그램(80 Mel‑band, FFT 256 또는 512)으로 변환하고, 각 주파수‑시간 셀을 중앙값 대비 3배 이상이면 1, 그렇지 않으면 0으로 이진화한다. 이후 4×4 형태의 침식·팽창 필터를 적용해 잡음을 제거하고, 길이가 32 768 샘플 미만인 경우 임계값을 단계적으로 낮추어 최소 길이를 확보한다. 이렇게 전처리된 스펙트로그램은 4개의 컨볼루션 레이어와 최대 풀링 레이어를 거쳐 0.4 드롭아웃을 적용한 후 평탄화된다.

메타데이터는 위도·경도·고도·시간대(일출·일몰 기준 6가지 구간) 등 7개의 정규화된 특성으로 구성되며, 결측값은 동일 종의 다른 샘플 평균·분산을 이용해 정규분포 난수로 보완한다. 메타데이터는 100 뉴런 전결합 레이어를 통과한다. 두 흐름(오디오와 메타데이터)의 출력은 하나의 전결합 레이어에 결합되어 최종 분류를 수행한다.

데이터 증강 측면에서는 (1) 무작위 잡음 오버레이(최대 4개, 볼륨 ±10 %), (2) 동일 종 오디오 혼합(확률 70 %, 감쇠 20‑60 %), (3) 인접 지역 다른 종 오버레이(30 % 확률, 감쇠 30 %±5 %), (4) 스펙트로그램을 두 조각으로 분할 후 순서 뒤바꾸기, (5) 전체 볼륨 ±5 % 및 피치 ±5 % 변환을 적용한다. 이러한 복합 증강은 모델이 다양한 환경 잡음과 변형에 강인하도록 만든다.

학습은 배치 크기 16, 학습률 0.001, 네스테로프 모멘텀 0.9, ELU 활성화 함수를 사용해 배치 정규화 없이도 빠른 수렴을 달성한다. 두 가지 FFT 설정(256, 512)으로 각각 별도 모델을 훈련한 뒤, 결과를 평균화한 앙상블(Cynapse Run 4)까지 실험하였다. 결과적으로 고해상도 FFT 512 모델은 전통적인 녹음에 강했으며, FFT 256 모델은 시간코드가 포함된 사운드스케이프에 유리했다.

이 논문의 핵심 기여는 (① 멀티모달 입력 설계, ② 정교한 전처리·증강 파이프라인, ③ 두 해상도 스펙트로그램을 활용한 앙상블)이며, 특히 메타데이터를 0‑1 플래그와 정규화 값으로 단순화해 CNN과 원활히 결합한 점이 주목할 만하다. 또한, 데이터가 불완전한 경우 평균·분산 기반 난수 보완 방식을 도입해 학습 손실을 최소화하였다. 향후 연구에서는 종 간 계통학적 관계를 그래프 구조로 모델링하거나, 고차원 메타데이터(날씨, 서식지 유형 등)를 추가해 분류 성능을 더욱 끌어올릴 여지가 있다.