도메인 불변 특징을 위한 비지도 학습 기반 음성 인식 강화

**1. 연구 배경 및 동기** 자동 음성 인식(ASR) 시스템은 최근 딥러닝 기반 acoustic model의 발전으로 높은 정확도를 달성했지만, 훈련 데이터와 테스트 환경이 다를 경우 성능이 급격히 저하되는 도메인 불일치 문제가 여전히 남아 있다. 이러한 불일치는 화자, 마이크 종류, 방음향, 배경 잡음 등 다양한 비언어적 요인에 의해 발생한다. 기존 접근법은 (1) 데이터 증강·노이즈 제거와 같은 전처리, (2) 대규모 다도메인 라벨링, (3) 도메인‑불변 특징 학습 등으로 나뉜다. 그러나 (1)은 병렬 데이터가 필요하고, (2)는 라벨 비용이 높으며, (3) 역시 효과적인 비지도 방법이 부족하다. **2. 모델 개요 – Factorized Hierarchical Variational Autoencoder (FHVAE)** FHVAE는 시퀀스(utterance)와 구간(segment) 수준의 변동성을 각각 다른 잠재 변수에 할당한다. 구체적으로: - **µ₂** : 전체 시퀀스 수준의 평균값으로, 화자·채널·노이즈와 같은 전역 속성을 요약한다. - **z₂** : 시퀀스‑조건부 잠재 변수로, 각 구간이 속한 시퀀스의 전역 정보를 반영한다. - **z₁** : 구간‑레벨 잠재 변수로, 전역 속성을 제외한 순수 언어적 정보를 담는다. 생성 과정은 (1) µ₂를 정규분포에서 샘플링, (2) z₁과 z₂를 각각 독립 정규분포와 µ₂‑조건 정규분포에서 샘플링, (3) x(구간) 를 (z₁, z₂) 로부터 정규분포 형태로 생성한다. 인코더는 x와 (선택적으로) z₂를 입력으로 하여 z₁과 z₂의 후방 분포를 추정하고, µ₂는 학습 가능한 lookup table 로 관리한다. **3. 학습 목표와 판별 손실** 변분 하한(Lower Bound)만으로는 µ₂가 모든 시퀀스에 대해 동일해지는 “collapse” 현상이 발생한다. 이를 방지하기 위해 논문은 판별 손실 log p(i|z₂) 를 도입한다. 이는 z₂ 가 해당 utterance‑id 를 예측하도록 강제해, 시퀀스‑레벨 정보를 유지하게 만든다. 전체 손실은 L_dis = L_VAE + α·log p(i|z₂) 이며, α는 0~20 사이에서 실험적으로 조정한다. **4. 실험 설정** - **데이터**: Aurora‑4(인공 노이즈, 4 조건)와 CHiME‑4(실제 잡음, 1 채널) 사용. 훈련은 깨끗한 데이터만 사용하고, 테스트는 깨끗·노이즈 모두 포함. - **전처리**: 80‑dim FBank을 20‑frame 청크로 나누어 VAE/FHVAE에 입력. 청크당 평균·분산을 추출해 프레임 단위 특징으로 재구성. - **모델 구조**: VAE와 FHVAE 모두 Seq2Seq LSTM 인코더·디코더 사용. VAE latent dim = 64, FHVAE latent dim = 32 (z₁) + 32 (z₂). 층 수와 유닛 수를 1~3층, 128~512 유닛으로 변형해 성능 비교. - **ASR**: Kaldi 기반 GMM‑HMM 초기 모델 후, CNTK LSTM acoustic model(3층, 1024 cells, 512 projection) 학습. 동일 언어 모델 사용, 동일 학습 하이퍼파라미터 적용. **5. 주요 결과** - **베이스라인**: FBank은 조건 B·C·D에서 49%~79% 절대 WER 상승을 보이며, 도메인 불일치에 매우 취약. - **VAE vs FHVAE**: VAE‑z는 약간의 개선(10%~15% 절대 WER 감소)만 보였지만, FHVAE‑z₁은 14%~16% 절대 WER 추가 감소를 달성, 특히 노이즈·채널 변동이 큰 조건에서 큰 효과. - **구조 탐색**: 층 수가 늘어날수록(2~3층) 약간의 성능 향상이 있었으며, 유닛 수가 256~512 사이에서 최적. α=10이 가장 안정적이며, α=0이면 µ₂ 붕괴, α>20은 과도한 판별 압력으로 오히려 성능 저하. - **보조 라벨 활용**: utterance‑id, noise‑type, speaker‑id 를 추가 입력으로 사용하면 z₁에 약간의 도메인 정보를 보강해 소폭 개선(1~2% 절대 WER). - **µ₂와 z₂ 활용**: 직접 사용 시 오히려 성능이 악화되었으며, 이는 이들 변수가 도메인 특성을 많이 포함하고 있기 때문. **6. 분석 및 논의** FHVAE는 “시퀀스‑레벨 vs 구간‑레벨” 정보를 명시적으로 분리함으로써, 비지도 학습 상황에서도 도메인 불변 특징을 효과적으로 추출한다는 점을 입증한다. z₁은 구간‑레벨 언어 정보를 보존하면서, µ₂·z₂는 도메인 변동을 흡수한다. 판별 손실을 통해 µ₂ 붕괴를 방지하고, 각 utterance‑level 변수가 구분 가능하도록 만든 것이 핵심이다. 또한, 라벨이 없는 대규모 비정제 데이터에 대해 사전 학습 후, 소량의 클린 라벨만으로도 강인한 ASR을 구축할 수 있어 실용성이 높다. **7. 결론 및 향후 연구** 본 연구는 FHVAE 기반 도메인 불변 특징이 기존 필터뱅크 및 VAE 기반 특징보다 월등히 강인함을 실험적으로 증명하였다. 향후 연구에서는 (1) 다언어·다도메인 상황에서 공동 학습, (2) 음성 외에 영상·텍스트와 같은 멀티모달 정보를 함께 factorize, (3) 실시간 인퍼런스를 위한 경량화 모델 설계 등을 탐색할 수 있다.