엔트로피 기반 커리큘럼 학습으로 데이터 효율적인 음향 장면 분류의 도메인 적응 개선

초록

본 논문은 장치 간 도메인 변이와 제한된 라벨 데이터 상황에서 음향 장면 분류(ASC)의 일반화 능력을 향상시키기 위해, 보조 도메인 분류기의 출력 엔트로피를 샘플 난이도 지표로 활용한 커리큘럼 학습 전략을 제안한다. 높은 엔트로피(도메인 불확실성) 샘플을 먼저 학습하고, 점차 낮은 엔트로피(도메인 특화) 샘플을 포함함으로써 도메인 불변 특성을 효과적으로 학습한다. 다양한 DCASE 2024 ASC 베이스라인에 적용한 실험 결과, 특히 5 %·10 %와 같은 극소량 라벨 데이터 조건에서 보이지 않는 장치에 대한 정확도가 크게 향상됨을 확인하였다.

상세 분석

이 연구는 데이터 효율성이라는 제약 하에 도메인 시프트 문제를 해결하고자 하는 실용적 접근법을 제시한다. 핵심 아이디어는 보조 도메인 분류기 f_dom 가 각 샘플에 대해 예측하는 장치 확률 분포의 샤논 엔트로피 H(x) 를 도메인 불확실성의 정량적 지표로 활용하는 것이다. 엔트로피가 높을수록 장치 식별이 어려워 해당 샘플이 장치‑특정 특성에 덜 의존한다는 가정 하에, 학습 초기 단계에서 이러한 고엔트로피 샘플을 우선적으로 제공한다. 이는 모델이 장면‑관련 핵심 특징을 먼저 학습하도록 유도하고, 초기 과적합 위험을 감소시킨다. 이후 엔트로피가 낮은, 즉 장치‑특화된 샘플을 점진적으로 혼합 배치에 포함시켜 모델이 실제 도메인 변이를 견디도록 조정한다. 커리큘럼 전환 시점은 검증 손실이 일정 에폭 동안 개선되지 않을 때 트리거되며, 이는 기존 커리큘럼 학습에서 흔히 사용되는 ‘학습 안정성 기반 전이’와 일맥상통한다.

방법론적 구현은 두 단계로 나뉜다. 첫 단계에서는 기존 ASC 모델의 피처 추출기 f_feat 를 고정하고, 경량의 장치 분류기 f_dom 을 학습한다. 여기서 얻은 p_d(x) 를 통해 H(x) 를 계산하고, 전체 훈련 샘플을 엔트로피 기준으로 정렬한다. 중간값을 기준으로 상위 50 %를 X_inv (도메인‑불변) 집합, 나머지를 X_spec (도메인‑특화) 집합으로 구분한다. 두 번째 단계에서는 원래의 장면 분류기 f_cls 를 재활성화하고, X_inv 만을 사용해 초기 학습을 진행한다. 이후 고정 비율(예: 80 % X_inv + 20 % X_spec)로 미니배치를 구성해 점진적으로 X_spec 을 도입한다. 이 과정은 기존 ASC 베이스라인의 옵티마이저, 학습률 스케줄, 배치 크기 등을 그대로 유지하므로, 별도의 하이퍼파라미터 튜닝 없이 플러그‑인 형태로 적용 가능하다.

실험은 DCASE 2024 Task 1 데이터셋을 사용했으며, 5 %·10 %·25 %·50 %·100 %의 라벨 비율에 대해 다섯 개의 사전 정의된 저자원 서브셋을 활용하였다. 평가 지표는 클래스별 평균 정확도이며, 특히 보이지 않는 장치에 대한 성능이 크게 개선되었다. 예를 들어, 베이스라인 DCASE2024 모델의 5 % 조건에서의 보이지 않는 장치 정확도가 42.4 %였던 반면, 제안 커리큘럼을 적용하면 44.0 %로 약 1.6 %p 상승하였다. 다른 두 베이스라인(Cai XJTLU, Han SJTUTHU)에서도 유사한 상승 효과가 관찰되었으며, 전체 데이터 사용 시에도 소폭이지만 일관된 개선을 보였다. 이러한 결과는 엔트로피 기반 난이도 정의가 도메인 일반화에 유의미한 신호임을 입증한다.

본 논문의 기여는 다음과 같다. 첫째, 도메인 불확실성을 엔트로피로 정량화하여 커리큘럼 샘플링에 활용함으로써, 기존 데이터 증강이나 사전학습 기반 방법과는 별개로 모델 자체의 학습 경로를 최적화한다. 둘째, 아키텍처에 종속되지 않으며 추론 단계에서 추가 비용이 전혀 발생하지 않아, 경량 ASC 모델에 즉시 적용 가능하다. 셋째, 제한된 라벨 데이터 상황에서도 도메인 시프트를 완화하는 실용적 해결책을 제공한다는 점에서, 실제 모바일 및 임베디드 환경에의 전이 가능성이 높다. 향후 연구에서는 엔트로피 임계값을 고정 비율이 아닌 연속적인 가중치 스케줄로 확장하거나, 베이지안 불확실성 추정과 결합해 보다 정교한 난이도 측정 방식을 탐색할 여지가 있다.