음성 태깅을 위한 순차 라벨 데이터와 CTC 기반 CRNN 모델

초록

본 논문은 음성 이벤트의 존재 여부와 발생 순서를 모두 제공하는 순차 라벨 데이터(SLD)를 도입하고, 이를 활용하기 위해 Convolutional Recurrent Neural Network에 Connectionist Temporal Classification 손실을 결합한 CRNN‑CTC 모델을 제안한다. 실험 결과, CRNN‑CTC는 AUC 0.986을 달성해 기존 Max‑Pooling 기반 CRNN(0.908) 및 Average‑Pooling 기반 CRNN(0.815)을 크게 능가했으며, 음성 이벤트의 순서 예측 능력도 입증하였다.

상세 분석

본 연구는 기존 약한 라벨링(Weakly Labeled Data, WLD) 방식이 제공하는 “존재/부재” 정보만으로는 음성 이벤트 간의 시간적 관계를 학습하기 어렵다는 점에 주목한다. 이를 해결하기 위해 저자들은 “순차 라벨 데이터(Sequential Labeled Data, SLD)”라는 새로운 라벨링 스킴을 정의한다. SLD는 각 오디오 클립에 대해 이벤트가 등장하는 순서를 명시적으로 기록하므로, 프레임‑레벨 정밀 라벨링 없이도 순서 정보를 활용할 수 있다.

모델 아키텍처는 전형적인 CRNN 구조를 기반으로 한다. 먼저 2‑D 멜‑스펙트로그램을 입력으로 받아 여러 층의 2‑D 컨볼루션을 통해 지역적 특징을 추출하고, 배치 정규화와 ReLU 활성화를 적용한다. 컨볼루션 출력은 시간 축을 따라 펼쳐져 RNN(주로 Bi‑GRU) 레이어에 전달되며, 여기서 장기 의존성을 모델링한다. 마지막으로 선형 변환을 거쳐 각 시간 스텝마다 클래스 확률 분포를 출력한다.

핵심은 손실 함수에 CTC(Connectionist Temporal Classification)를 적용한 점이다. CTC는 입력 시퀀스와 목표 라벨 시퀀스 사이에 정렬을 자동으로 학습하도록 설계돼, 프레임‑레벨 라벨이 없어도 순서 정보를 효과적으로 전파한다. 구체적으로, 블랭크 토큰을 포함한 확률 매트릭스를 구성하고, 전방‑후방 알고리즘을 이용해 전체 라벨 시퀀스에 대한 로그우도(log‑likelihood)를 최대화한다. 이 과정에서 “중복 제거”와 “블랭크 삽입” 규칙이 적용돼, 모델이 실제 이벤트 발생 간격을 자유롭게 학습하도록 만든다.

실험 설계는 두 가지 베이스라인을 포함한다. 첫 번째는 동일한 CRNN 구조에 Max‑Pooling을 적용해 최종 특성을 집계하는 방식이며, 두 번째는 Average‑Pooling을 적용한 방식이다. 두 베이스라인 모두 프레임‑레벨 라벨이 없으므로 전통적인 교차 엔트로피 손실을 사용한다. 반면 제안 모델은 동일한 입력 파이프라인을 유지하면서 CTC 손실만 교체한다.

성능 평가는 주로 AUC(Area Under ROC Curve) 지표를 사용했으며, CRNN‑CTC는 0.986이라는 매우 높은 점수를 기록했다. 이는 Max‑Pooling 기반 CRNN(0.908)과 Average‑Pooling 기반 CRNN(0.815)보다 각각 8.6%p, 17.1%p 향상된 수치다. 또한, CTC 특성상 모델이 출력 시퀀스에서 실제 이벤트 순서를 복원할 수 있음을 시각화 실험을 통해 확인했다. 즉, 단순히 “어떤 이벤트가 존재한다”를 넘어서 “어떤 순서로 발생했는가”까지 추론 가능함을 입증했다.

이러한 결과는 SLD와 CTC의 결합이 약한 라벨링 환경에서도 시간적 구조를 학습할 수 있음을 시사한다. 특히, 라벨링 비용이 높은 프레임‑레벨 어노테이션 없이도 순서 정보를 활용함으로써, 데이터 효율성을 크게 높일 수 있다. 다만, CTC는 블랭크 토큰과 중복 제거 규칙에 의존하므로, 매우 짧은 이벤트가 연속적으로 발생하는 경우 라벨 충돌이 발생할 가능성이 있다. 또한, 현재 실험은 비교적 제한된 도메인(예: 도시 소리, 가정 내 소리)에서 수행됐으며, 대규모 다중 라벨 및 복합 이벤트 시나리오에 대한 일반화 검증이 필요하다. 향후 연구에서는 Transformer‑ 기반 인코더와 CTC를 결합하거나, 라벨 순서를 부분적으로만 제공하는 반강화 학습 기법을 도입해 더욱 견고한 모델을 설계할 여지가 있다.