퍼뮤테이션 불변 학습으로 풀어낸 스피커 독립 다중 화자 음성 분리

초록

본 논문은 라벨 순서에 구애받지 않는 퍼뮤테이션 인베리언트 트레이닝(PIT) 기법을 제안한다. PIT는 출력‑라벨 매칭을 손실 계산 단계에서 최적화함으로써 스피커 독립 다중 화자 음성 분리에서 오래된 라벨 퍼뮤테이션 문제를 근본적으로 해결한다. WSJ0‑2mix 및 Danish‑2mix 데이터셋 실험에서 NMF, CASA, DPCL 등 기존 방법들을 능가하는 SDR 향상을 보이며, 실시간 회의 기록 등 실제 서비스 적용 가능성을 제시한다.

상세 분석

퍼뮤테이션 인베리언트 트레이닝(PIT)은 다중 화자 음성 분리에서 가장 큰 장애물인 라벨 퍼뮤테이션 문제를 손실 함수 수준에서 해결한다. 기존의 다중 클래스 회귀 방식은 각 출력 스트림에 고정된 화자 라벨을 할당하고 학습하기 때문에, 학습 데이터에 포함된 화자 순서가 바뀔 경우 손실이 크게 증가한다. DPCL은 임베딩을 학습해 클러스터링으로 라벨을 추정하지만, 각 TF‑bin이 하나의 화자에만 속한다는 가정과 클러스터링 단계의 비연속성이 실제 복합 신호에 부정확성을 초래한다. PIT는 먼저 현재 메타‑프레임(연속 N개의 스펙트럼 프레임) 내에서 가능한 S!개의 출력‑라벨 매핑을 모두 계산하고, 각 매핑에 대한 평균 제곱 오차(MSE)를 구한다. 그 중 최소 MSE를 보이는 매핑을 선택해 역전파를 수행함으로써, 학습 과정 자체가 “라벨을 자동으로 정렬”하도록 만든다. 이 과정은 매 프레임마다 독립적으로 수행되며, 매핑 탐색 비용은 화자 수가 적은 경우(보통 2~3명) 실시간 수준으로 유지된다.

모델 구조는 DNN, CNN, LSTM 등 다양한 아키텍처에 적용 가능하며, 입력은 257 차원의 STFT magnitude를 여러 프레임 쌓아 만든 메타‑프레임이다. 출력은 각 화자별 마스크(또는 직접 복원된 스펙트럼)이며, 마스크는 softmax를 통해 0~1 사이로 정규화한다. 손실은 마스크가 아니라 복원된 스펙트럼 magnitude와 실제 스펙트럼 magnitude 사이의 MSE이며, 이는 무음 구간에서도 의미 있는 학습을 가능하게 한다.

실험에서는 WSJ0‑2mix와 Danish‑2mix 두 데이터셋을 사용하였다. WSJ0‑2mix은 0~5 dB SNR 범위에서 무작위 화자와 발화를 섞어 만든 30 h 훈련, 10 h 검증, 5 h 테스트 셋을 제공한다. Danish‑2mix은 0 dB 고정 SNR로 구성했으며, 닫힌 조건(CC)과 열린 조건(OC) 테스트를 각각 동일 화자와 미보인 화자로 나누었다. PIT‑DNN과 PIT‑CNN을 각각 2‑3개의 메타‑프레임 길이(예: 101 ms, 51 ms)로 학습시켰으며, 학습 곡선은 라벨 퍼뮤테이션이 존재하는 기존 방식에 비해 검증 MSE가 급격히 감소함을 보여준다.

성능 평가는 SDR(Signal‑to‑Distortion Ratio) 향상으로 측정했으며, 최적 할당(optimal assignment)과 기본 할당(default assignment) 두 시나리오를 제시한다. 기본 할당은 프레임 간 출력‑화자 매핑이 변하지 않는다고 가정한 보수적 추정이며, 최적 할당은 각 메타‑프레임마다 실제 혼합 라벨을 이용해 매핑을 재조정한다. PIT‑CNN(101 ms) 모델은 WSJ0‑2mix에서 8.4 dB(기본)·8.6 dB(최적) SDR 향상을 달성했으며, 이는 DPCL(6.5 dB)과 DPCL+ (10.3 dB, 대규모 모델) 사이의 성능이다. 특히 Danish‑2mix의 열린 조건에서도 7.7 dB·7.8 dB의 향상을 보여, 언어와 화자에 대한 일반화 능력이 뛰어남을 입증한다.

PIT의 장점은 구현이 간단하고 기존 네트워크에 바로 적용 가능하다는 점이다. 라벨 매칭을 손실 계산에 포함시키는 방식은 다른 고급 기법(예: 복소수 도메인 처리, 스펙트럼‑위상 복원)과도 자연스럽게 결합될 수 있다. 또한, 프레임 단위 매핑 변화를 추적하는 스피커 트레이싱 알고리즘을 추가하면, 현재 실험에서 보인 기본 할당과 최적 할당 사이의 격차를 메우는 추가 이득을 기대할 수 있다. 따라서 PIT는 현재와 미래의 다중 화자 음성 인식, 회의 기록, 인간‑컴퓨터 인터랙션 등 실시간 음성 처리 시스템에 핵심적인 기반 기술이 될 가능성이 크다.