도메인 불변 새소리 표현 학습

초록

본 논문은 시민 과학 플랫폼에서 수집된 초점 녹음과 수동 음향 모니터링(soundscape) 녹음 사이의 도메인 격차를 극복하기 위해, 지도 대비 학습(SupCon)을 기반으로 한 도메인 불변 표현을 학습한다. 기존 SupCon의 O(N²) 연산 부담을 줄이기 위해 클래스 프로토타입을 이용한 ProtoCLR 손실을 제안하고, 대규모 새소리 벤치마크 BIRB에서 1‑shot·5‑shot 분류 실험을 수행한다. 실험 결과 ProtoCLR가 SupCon보다 정확도와 학습 효율 모두에서 우수함을 확인하였다.

상세 분석

이 연구는 새소리 자동 인식을 위한 도메인 일반화(Domain Generalization, DG) 문제에 초점을 맞춘다. 기존에 널리 사용되는 Xeno‑Canto와 같은 시민 과학 데이터는 ‘초점(focal)’ 녹음으로, 목표 종의 소리를 직접 촬영한다. 반면, 실제 현장에서 배치되는 수동 음향 모니터링 장치는 복합적인 환경 소음과 다중 종의 소리가 섞인 ‘음향 풍경(soundscape)’ 데이터를 생성한다. 이러한 차이는 두 데이터셋 간 통계적 분포 차이, 즉 도메인 쉬프트를 야기해 초점 데이터만으로 학습된 모델이 현장 적용 시 성능이 급격히 저하되는 원인이 된다.

논문은 지도 대비 학습(SupCon)이 클래스 라벨을 활용해 같은 클래스 내 샘플을 서로 가깝게, 다른 클래스 샘플을 멀리 배치함으로써 도메인 불변 특성을 자연스럽게 학습할 수 있음을 강조한다. 그러나 SupCon은 배치 내 모든 샘플 쌍에 대해 내적을 계산해야 하므로 연산 복잡도가 O(N²)이며, 배치 크기가 커질수록 메모리와 시간 비용이 급증한다. 이를 해결하고자 저자들은 ‘ProtoCLR’이라는 새로운 손실 함수를 설계했다. ProtoCLR은 각 클래스별 프로토타입(배치 내 해당 클래스 샘플들의 평균 임베딩)만을 계산하고, 각 샘플을 자신의 클래스 프로토타입과는 끌어당기고, 다른 클래스 프로토타입과는 밀어내는 방식으로 손실을 정의한다. 수식적으로는 SupCon의 양의 항과 동일하지만, 부정 항이 개별 샘플 대신 프로토타입에 대한 가중 평균으로 대체된다. 이 설계는 다음과 같은 장점을 제공한다.

1. 연산 효율성: 프로토타입 수는 클래스 수 C에 비례하므로 복잡도가 O(N·C)로 감소한다. 실험에서는 SupCon이 80.4 B MACs를 요구하는 반면, ProtoCLR은 28.3 B MACs만 필요했다.
2. 분산 감소: 프로토타입은 다수 샘플의 평균이므로 내부 변동성이 감소하고, 그래디언트 노이즈가 완화된다. 이는 학습 안정성 및 수렴 속도 향상으로 이어진다.
3. 수렴 특성: 두 손실 모두 최적화 과정에서 임베딩이 클래스 중심에 수렴한다는 점에서 이론적으로 동등한 목표를 가진다. 논문은 수식 전개를 통해 SupCon의 부정 항을 프로토타입 기반 형태로 근사할 수 있음을 보이며, 실제 실험에서도 두 방법이 비슷한 클러스터링 구조를 형성함을 확인한다.

실험 설계는 BIRB 벤치마크를 기반으로 한다. BIRB는 Xeno‑Canto(초점) 데이터를 학습용으로, 여러 현장 음향 풍경 데이터(PER, NES, UHH, HSN, SSW, SNE)를 검증·시험용으로 제공한다. 저자들은 1‑shot 및 5‑shot 분류 시나리오를 설정하고, 사전 학습된 오디오 인코더(CvT‑13) 위에 다양한 손실 함수를 적용해 모델을 미세조정한다. 평가 방법은 SimpleShot 방식을 채택해, 각 클래스의 k‑샘플 평균을 프로토타입으로 사용하고, 테스트 샘플과 가장 가까운 프로토타입을 예측 라벨로 선택한다.

비교 대상에는 (1) 교차 엔트로피(CE) 기반 지도 학습, (2) SimCLR 기반 자기지도 학습, (3) 기존 SupCon, (4) 제안 ProtoCLR, 그리고 (5) 최신 대규모 사전학습 모델(BirdA‑VES, BioLingual, Perch) 등이 포함된다. 결과는 다음과 같다.

• 1‑shot: ProtoCLR가 SupCon(8.53 % → 9.23 %)보다 평균 정확도에서 약 0.7 %p 상승했으며, CE와 SimCLR보다도 우수했다. 특히 PER와 NES와 같은 복잡한 도메인에서 차이가 두드러졌다.
• 5‑shot: ProtoCLR가 SupCon(17.2 % → 19.2 %)을 앞섰으며, 전체 평균 정확도 42.4 %를 기록했다. 이는 CE(21.4 %)와 SimCLR(15.4 %)에 비해 현저히 높은 수치다.
• 연산 효율: 동일 배치·에폭 조건에서 ProtoCLR은 SupCon 대비 약 3배 적은 연산량을 요구하면서도 성능을 개선했다.

이러한 결과는 프로토타입 기반 대비 학습이 도메인 일반화에 있어 효과적인 대안임을 입증한다. 특히, 라벨이 풍부한 초점 데이터만으로 학습하고, 라벨이 희소하거나 전혀 없는 음향 풍경에 적용해야 하는 실제 현장 상황에 적합한 방법론으로 평가된다. 또한, ProtoCLR은 기존 대비 구현이 간단하고 메모리 요구량이 낮아, 대규모 데이터셋이나 제한된 GPU 환경에서도 실용적으로 활용 가능하다.