변동하는 새소리 시퀀스 자동 인식: 음절 구분·분류·전역 모델링

초록

본 연구는 새소리의 음절(노트) 분류, 경계 검출, 전역 시퀀스 추론을 각각 별개의 단계로 나누어, 딥러닝 기반 지역 분류기와 은닉 마코프 모델(HMM)을 결합한 하이브리드 시스템을 제안한다. 변동적인 음절 순서를 가진 새소리 데이터에 대해 경계 정확도와 분류 정확도를 동시에 평가하는 새로운 지표를 도입했으며, 실험 결과 하이브리드 모델이 기존 방법보다 우수함을 확인하였다.

상세 분석

이 논문은 새소리 분석을 “음절(노트) → 경계 → 전역 시퀀스”라는 세 가지 핵심 특성에 기반해 세 단계로 분해한다. 첫 번째 단계인 지역 분류(local classification)에서는 멜-스펙트로그램을 입력으로 하는 1‑D CNN‑LSTM 하이브리드 네트워크를 사용해 각 프레임이 어느 음절 클래스에 속하는지 확률분포를 출력한다. 여기서 중요한 점은 인간 음성 인식에서 흔히 쓰이는 CTC나 attention 기반 모델을 배제하고, 짧은 시간 창에서의 정밀한 라벨링을 목표로 한다는 것이다. 두 번째 단계인 경계 검출(boundary detection)은 분류 확률의 급격한 변화를 포착하는 변곡점 탐지 알고리즘과, 가우시안 필터링을 결합해 노이즈에 강인한 경계 후보를 생성한다. 이때 경계 후보에 대한 신뢰도 점수를 부여하고, 일정 임계값 이하를 제거함으로써 과다 검출을 억제한다. 세 번째 단계인 전역 시퀀스(global sequencing)에서는 앞서 얻은 음절 클래스와 경계 정보를 바탕으로 은닉 마코프 모델(HMM)을 구성한다. HMM의 상태 전이 확률은 새가 실제로 사용하는 음절 전이 규칙을 반영하도록 사전 학습된 빅데이터 기반 전이 행렬을 사용한다. 관측 확률은 지역 분류기의 출력(softmax 확률)과 경계 신뢰도를 결합한 형태이며, Viterbi 알고리즘을 통해 최적 경로를 찾는다.
실험에서는 지연청새(Zebra Finch)와 같은 모델 종의 10시간 분량 녹음 데이터를 이용해 네 가지 모델 조합을 비교했다. (1) CNN‑LSTM 단독, (2) CNN‑LSTM + 단순 임계값 경계, (3) CNN‑LSTM + HMM, (4) 제안된 하이브리드(CNN‑LSTM + 변곡점 경계 + HMM). 평가 지표는 기존의 음절 정확도와 새로 정의한 “음절‑경계 통합 점수(F1‑joint)”이다. 결과는 제안 모델이 F1‑joint 0.87을 기록, 다른 모델은 0.71~0.79 수준에 머물렀다. 특히 경계 검출 정확도가 5 ms 이하로 향상된 것이 전반적인 시퀀스 인식 성능에 크게 기여했다.
또한 저자는 “정밀 경계가 필요한 연구(예: 발달 단계별 타이밍 분석)”와 “대략적 경계만으로 충분한 연구(예: 종 간 비교)”에 따라 모델 구성을 유연하게 선택할 수 있는 가이드라인을 제시한다. 마지막으로, 제안된 프레임워크는 음절이 명확히 정의되고 전이 규칙이 존재하는 다른 조류나 포유류의 울음에도 최소한의 파라미터 튜닝만으로 적용 가능함을 시사한다.