듀얼 전략 강화 ConBiMamba 기반 신경 화자 구분

초록

본 논문은 Conformer와 Mamba의 장점을 결합한 ConBiMamba 모델에 두 가지 전략을 추가해 화자 구분 성능을 크게 향상시킨다. ExtBiMamba를 이용해 장거리 의존성을 효율적으로 처리하고, 다중 스케일 컨볼루션으로 지역 특징을 강화한다. 또한, 경계 강화 전이 손실(Boundary‑Enhanced Transition Loss)과 층별 특징 집합(Layer‑wise Feature Aggregation)을 도입해 화자 전환점 탐지를 정확히 하고, 여러 레이어의 정보를 효과적으로 통합한다. 6개 데이터셋에서 4개에 대해 최신 최고 성능을 기록하였다.

상세 분석

ConBiMamba는 Conformer의 컨볼루션·피드포워드 블록을 유지하면서, Self‑Attention을 ExtBiMamba로 교체한 하이브리드 구조이다. ExtBiMamba는 양방향 상태공간 모델로, 과거·미래 정보를 동시에 활용해 O(N) 복잡도로 장거리 의존성을 포착한다. 이때 원본 Conformer의 31‑샘플 깊이별 컨볼루션을 15, 31, 63 길이의 세 브랜치로 확장해 다중 스케일 시간 패턴을 포착함으로써, Mamba가 약한 지역 세부 묘사를 보완한다.

층별 특징 집합은 L = 7개의 ConBiMamba 레이어 중 마지막 몇 개만 선택해 가중합을 수행한다. 학습 가능한 스칼라 α와 정적 마스크 m을 통해 불필요한 얕은 레이어를 −∞ 로 억제하고, Softmax 정규화된 가중치 w 로 깊은 레이어와 중간 레이어의 정보를 균형 있게 결합한다. 이는 깊은 레이어가 제공하는 추상화와 중간 레이어가 제공하는 세부 정보를 동시에 활용해 화자 구분의 판별력을 높인다.

경계 강화 전이 손실은 화자 전환점 검출을 별도 이진 과제로 정의한다. 프레임‑레벨 라벨 Y 로부터 전환 라벨 C 를 생성하고, Focal Loss 형태의 L_BET 를 적용해 양성 샘플 비율 r 에 따라 α 를 동적으로 조정한다. 이렇게 하면 전환점 주변의 라벨 불균형을 완화하고, 어려운 전환 샘플에 더 큰 가중치를 부여해 DER 감소에 기여한다. 전체 손실은 기존의 Permutation‑Invariant Training loss와 λ = 0.5 로 설정한 L_BET 를 가중합한다.

실험에서는 6개 공개 데이터셋(AISHELL‑4, RAMC, VoxConverse, MSDWild, AMI‑ch1, AliMeeting)과 4명 화자 시뮬레이션 데이터를 복합 학습하였다. 두 단계 학습(전체 데이터 20 s 세그먼트 → 각 데이터셋 별 최적 세그먼트)과 Pyannote 파이프라인 기반 클러스터링을 사용했으며, ECAPA‑TDNN 임베딩과 베이지안 최적화된 Agglomerative Hierarchical Clustering을 적용했다. 결과는 DER 기준 0 s 컬러에서 기존 PyannoteAI, Diarizen, Mamba‑diarization을 모두 앞섰으며, 특히 전환점 탐지 정확도가 크게 개선되었다. 층 선택 실험에서는 마지막 3층을 사용했을 때 가장 낮은 DER을 기록했고, 경계 강화 손실을 제외하면 DER이 평균 0.3~1.5% 상승했다.

한계점으로는 겹침 화자에 대한 명시적 모델링이 없으며, AliMeeting과 같이 겹침 비율이 높은 데이터에서 아직 최적에 도달하지 못했다. 또한, WavLM Base+ 를 고정된 프리트레인 상태로 사용했을 때와 비교해 파인튜닝 시 성능 차이가 크므로, 프리트레인 모델과의 공동 최적화가 향후 연구 과제로 남는다.