데이터 효율적인 셀프슈퍼바이즈드 새소리 분석 모델

초록

본 논문은 새소리의 음절을 정확히 탐지하기 위해, 라벨이 거의 없는 상황에서도 높은 성능을 보이는 경량 신경망 Residual‑MLP‑RNN과 3단계 학습 파이프라인을 제안한다. 첫 단계에서는 마스크 예측과 온라인 클러스터링 기반의 셀프슈퍼바이즈드 사전학습을 수행하고, 두 번째 단계에서는 데이터 증강을 활용한 프레임‑레벨 음절 검출 모델을 지도학습한다. 마지막 단계에서는 동일한 비라벨 데이터를 활용해 반지도학습으로 모델을 미세조정한다. 캔리새의 복잡한 노래를 대상으로 라벨 0.5% 수준의 극한 상황에서도 기존 방법을 크게 능가하는 결과를 보여준다.

상세 분석

이 연구는 새소리 분석이라는 특수 도메인에서 데이터 효율성을 극대화하기 위해 세 가지 핵심 요소를 결합한다. 첫째, Residual‑MLP‑RNN은 컨볼루션‑RNN 구조에 잔차 연결된 다층 퍼셉트론(MLP) 블록을 삽입해, 시간‑주파수 특성을 효과적으로 추출하면서도 파라미터 수를 최소화한다. 이는 기존의 대규모 트랜스포머 기반 SSL 모델이 요구하는 연산량과 메모리 부담을 크게 낮춘다. 둘째, 두 가지 셀프슈퍼바이즈드 사전학습 전략을 도입한다. 마스크 예측(MAE 방식)은 스펙트로그램의 75% 토큰을 무작위로 가리고, 남은 토큰으로 원본을 복원하도록 학습함으로써 고차원 음향 패턴을 압축된 임베딩에 담는다. 온라인 클러스터링(SwAV/DINO 변형)은 Sinkhorn‑Knopp 알고리즘을 이용해 배치 단위로 동적으로 클러스터 라벨을 생성하고, 서로 다른 증강 뷰 간의 일관성을 강제한다. 두 방법 모두 데이터 증강을 최소화하면서도 스펙트로그램의 연속성을 보존하도록 설계돼, 새소리와 같이 고주파 스윕과 짧은 음절 간격을 가진 신호에 적합하다. 셋째, 지도학습 단계에서는 시간‑축 랜덤 크롭(10 초), 주파수 마스크, 시간 마스크 등 여러 증강을 결합해 과적합을 방지하고, 프레임‑레벨 교차 엔트로피 손실을 통해 음절/비음절을 구분한다. 마지막으로 반지도학습 단계에서는 사전학습과 동일한 비라벨 데이터를 사용하되, 현재 모델이 높은 신뢰도로 예측한 프레임에 대해 가짜 라벨을 부여하고, 이를 교차 엔트로피와 엔트로피 최소화 손실에 동시에 적용한다. 이렇게 하면 라벨이 거의 없는 상황에서도 모델이 자체적으로 오류를 교정하며 성능을 끌어올릴 수 있다. 실험에서는 캔리새 3마리의 데이터셋을 0.5 %(few‑shot), +1 % 및 +2 % 라벨 비율로 학습시켰으며, 전체 라벨 대비 98 % 테스트 셋에서 F1‑score가 기존 Twetynet 대비 7~12 %p 상승했다. 특히, 마스크 예측 기반 사전학습이 클러스터링 기반보다 짧은 학습 시간(≈30 % 감소)에도 비슷한 성능을 보였으며, 두 방법을 앙상블하면 추가적인 이득을 얻을 수 있었다. 한계점으로는 현재 실험이 캔리새에 국한돼 있어 다른 종에 대한 일반화 검증이 부족하고, 온라인 클러스터링 단계에서 배치 크기에 따라 클러스터 품질이 변동할 수 있다는 점을 들 수 있다. 향후 연구에서는 다종 데이터셋을 통합한 멀티‑도메인 사전학습과, 클러스터 수 자동 조정 메커니즘을 도입해 모델의 확장성을 높이는 것이 기대된다.