대규모 오디오 분류를 위한 CNN 아키텍처 비교와 실용적 적용

본 논문은 “CNN Architectures for Large‑Scale Audio Classification”이라는 제목 아래, 대규모 유튜브 영상 데이터(70 M개, 총 5.24 M시간)를 활용해 오디오 기반 비디오 라벨 예측 성능을 비교·분석한다. 데이터는 Knowledge Graph 기반 자동 라벨링으로 30 871개의 라벨을 갖으며, 평균 5개의 라벨이 하나의 영상에 부여된다. 라벨은 ‘Song’처럼 음향과 직접 연관된 경우부터 ‘Web Page’처럼 간접적인 경우까지 다양하고, 라벨 정확도는 완전하지 않다. 전처리 단계에서는 각 영상을 960 ms 길이의 비중첩 프레임으로 나누고, 25 ms 윈도우(10 ms hop) STFT를 수행해 64개의 멜 밴드 로그 스펙트로그램을 만든다. 결과는 96 × 64 크기의 2‑D 이미지 형태가 되며, 이를 CNN에 그대로 입력한다. 다중 라벨 특성상 최종 레이어는 시그모이드 활성화와 다중 라벨 교차 엔트로피 손실을 사용한다. 학습은 TensorFlow 기반으로 Adam 옵티마이저와 배치 정규화를 적용했으며, 데이터 양이 방대하므로 드롭아웃·가중치 감쇠와 같은 정규화는 사용하지 않았다. 비교 대상은 전통적인 완전 연결 DNN과 이미지 분야에서 성공한 네 가지 CNN 아키텍처다. DNN은 3개의 은닉층(각 1 000 유닛)으로 약 11 M 파라미터를 갖는다. AlexNet은 입력 해상도에 맞게 초기 컨볼루션 스트라이드를 2 × 1로 조정하고, LRN 대신 배치 정규화를 적용해 37 M 파라미터와 767 M 연산을 필요로 한다. VGG‑E는 최종 레이어만 3 087 유닛으로 교체했으며, 62 M 파라미터와 2.4 B 연산을 가진다. Inception‑V3는 초기 스템 네 레이어와 보조 분류기를 제거하고 평균 풀링 크기를 10 × 6으로 맞춰 28 M 파라미터와 4.7 B 연산을 사용한다. ResNet‑50는 첫 7 × 7 컨볼루션 스트라이드 2를 없애고 평균 풀링을 6 × 4로 조정해 30 M 파라미터와 1.9 B 연산을 가진다. 성능 평가는 AUC(ROC 아래 면적), d′(AUC 기반 디프라임), mAP(평균 평균 정밀도) 세 가지 지표를 사용한다. 평가 데이터는 30 K 라벨 전체, 3 K 상위 라벨, 400 상위 라벨에 대해 각각 1 M, 100 K, 12 K 영상으로 균형 잡힌 샘플을 만든다. 각 영상의 프레임별 출력값을 평균해 영상 수준 예측을 만든다. 실험 결과, 모든 CNN이 DNN을 크게 앞섰다. 5 M 미니배치(≈128 × 5 M 입력) 후, AUC는 DNN 0.851 → AlexNet 0.894 → VGG 0.911 → Inception‑V3 0.918 → ResNet‑50 0.916 순이며, ResNet‑50를 17 M 배치까지 학습하면 AUC 0.926, d′ 2.041, mAP 0.212까지 상승한다. Inception‑V3와 ResNet‑50가 가장 높은 d′와 mAP를 기록했으며, 이는 이미지 CNN이 오디오 스펙트로그램에서도 효과적인 특징 추출기임을 증명한다. 라벨 수와 성능의 관계를 조사한 결과, 400 라벨만 사용한 모델보다 3 K, 30 K 라벨을 사용한 모델이 약간 더 높은 AUC·d′·mAP를 보였다. 특히 병목층(128‑dim)을 삽입하면 파라미터 수가 크게 감소해 학습 속도가 빨라지지만, 성능은 약간 저하된다. 이는 라벨 다양성이 중간 표현을 정규화하는 데 도움이 되지만, 과도한 차원 축소는 정보 손실을 초래한다는 점을 시사한다. 학습 데이터 양에 대한 실험에서는 70 M, 7 M, 700 K, 70 K, 23 K 영상으로 ResNet‑50을 각각 학습시켰다. 70 K 이하에서는 AUC가 0.909 이하로 급락하고, 과적합 징후가 나타났다. 700 K, 7 M, 70 M 모델은 AUC 0.921‑0.923, d′ ≈2.0, mAP 0.20‑0.21 수준으로 거의 포화에 가까웠으며, 데이터 양을 무한히 늘리는 것이 효율적이지 않음을 보여준다. 마지막으로, 학습된 ResNet‑50 임베딩을 Audio Set(1 M 10 s 클립, 527 이벤트 라벨) AED 태스크에 전이시켰다. 기존 raw log‑mel 특성 기반 모델 대비 평균 정확도와 mAP가 크게 향상되었으며, 대규모 약한 라벨 학습이 실제 음향 이벤트 인식에도 강력한 전이 학습 기반이 될 수 있음을 입증한다. 결론적으로, 이미지 CNN을 최소한의 구조 수정만으로 오디오 스펙트로그램에 적용했을 때, 대규모 약한 라벨 데이터와 결합하면 현존 최고 수준의 분류 성능을 달성한다. 향후 연구는 (1) 시간‑주파수 비대칭성을 고려한 전용 아키텍처 설계, (2) 라벨 노이즈 정제 및 라벨 계층 구조 활용, (3) 멀티모달(영상‑오디오) 통합 학습, (4) 데이터 증강 및 정규화 기법 도입 등을 통해 성능을 더욱 끌어올릴 여지가 있다.