비지도 베이지안 이중구조 분석기로 연속 음성에서 언어와 음향 모델을 동시에 학습

**1. 연구 배경 및 동기** 인간 영아는 라벨이 전혀 없는 연속 음성에서 단어를 스스로 구분한다는 사실은 인지과학에서 널리 알려져 있다. 기존 자동 음성 인식(ASR) 시스템은 대규모 전사 데이터와 사전 정의된 어휘를 필요로 하지만, 영아는 이러한 외부 정보를 전혀 사용하지 않는다. 따라서 ‘완전 비지도’ 환경에서 언어와 음향 모델을 동시에 학습할 수 있는 통합적인 확률 모델이 필요하다. **2. 기존 연구와 한계** 단어 경계 탐지를 위한 비지도 방법으로는 MBDP‑1, HDP‑ 기반 모델, NPYLM 등 다양한 베이지안 비모수 접근법이 제안되었다. 그러나 대부분은 이미 전사된 음소 시퀀스 혹은 텍스트를 전제하고 있어, 실제 음성 신호에서 직접 학습하기엔 부족했다. 일부 연구는 음성‑시각·촉각 등 다중 모달 정보를 활용했지만, 음향 모델 자체를 비지도 방식으로 학습하는 데는 한계가 있었다. **3. 제안 모델: HDP‑HLM** 저자들은 ‘계층적 디리클레 과정 은닉 언어 모델(HDP‑HLM)’을 설계한다. 이 모델은 크게 세 부분으로 구성된다. - **언어 레이어**: 단어는 무한히 가능한 어휘 집합에서 샘플링되며, 각 단어는 음소 n‑gram(또는 Pitman‑Yor 과정)으로 생성된다. - **음소 레이어**: 각 음소는 반마코프(HSMM) 구조를 갖고, 지속 시간은 베타-디리클레 과정으로 모델링된다. - **관측 레이어**: 음소가 지속되는 동안 연속적인 MFCC와 같은 음향 특징이 가우시안 분포를 통해 생성된다. 이러한 계층적 구조는 ‘이중구조(double articulation)’를 자연스럽게 표현한다. 또한 비모수적 특성 덕분에 사전 정의된 어휘·음소 수가 필요 없으며, 데이터에 따라 자동으로 새로운 단어·음소가 생성된다. **4. 추론 알고리즘** 모델 파라미터와 잠재 변수의 사후분포는 차단 Gibbs 샘플러를 이용해 추정한다. 차단 샘플링은 (i) 단어 경계와 단어 라벨을 동시에 샘플링하고, (ii) 각 단어 내부의 음소 시퀀스와 지속 시간을 동시에 업데이트한다. 이는 기존에 음소와 단어를 순차적으로 추정하던 방법보다 샘플링 효율을 크게 개선한다. ‘스티키’ 파라미터를 도입해 음소가 지나치게 짧게 끊기는 현상을 억제하고, 샘플링 과정에서 발생할 수 있는 레이블 스위칭 문제를 완화한다. **5. NPB‑DAA 시스템** HDP‑HLM과 차단 Gibbs 샘플러를 기반으로 구현된 ‘비모수 베이지안 이중구조 분석기(NPB‑DAA)’는 입력된 연속 음성 신호를 직접 처리한다. 모델은 반복적인 샘플링 과정을 통해 (a) 잠재적인 단어 경계, (b) 각 단어를 구성하는 음소 시퀀스, (c) 음소별 가우시안 관측 파라미터를 동시에 학습한다. 결과적으로 언어 모델(단어 n‑gram)과 음향 모델(음소 가우시안)이 하나의 프레임워크 안에서 공동 최적화된다. **6. 실험 설계** 두 가지 실험이 수행되었다. - **합성 데이터**: 사전에 정의된 이중구조를 가진 인공 시계열을 생성하고, NPB‑DAA가 원래 구조를 얼마나 정확히 복원하는지 평가하였다. 결과는 높은 정확도와 회복률을 보였다. - **실제 일본어 모음 연속음성**: 일본어 모음(‘a, i, u, e, o’)만을 포함한 연속 발화를 녹음하고, 이를 전처리 없이 그대로 입력하였다. 평가 지표는 (i) 단어 획득 정확도, (ii) 음소 군집화 정밀도, (iii) 기존 DAA와 지도 학습 기반 ASR 시스템과의 비교였다. NPB‑DAA는 두 지표 모두에서 기존 방법을 크게 앞섰으며, 특히 음소 인식 오류가 높은 상황에서도 견고한 성능을 유지했다. **7. 결과 분석** 실험 결과는 (1) 비지도 환경에서도 언어와 음향 모델을 동시에 학습할 수 있음을, (2) 차단 Gibbs 샘플링이 효율적인 추론을 가능하게 함을, (3) 기존 DAA가 두 모델을 순차적으로 적용한 반면, NPB‑DAA는 통합 모델로서 더 높은 일관성과 정확도를 제공함을 보여준다. **8. 한계 및 향후 연구** 현재 모델은 음소 간 미세한 변이와 억양·강세와 같은 프로소디 정보를 충분히 활용하지 못한다. 또한 차단 Gibbs 샘플링은 데이터 규모가 커질수록 계산 비용이 급증한다는 실용적 제약이 있다. 향후 연구에서는 변분 추론, 스토캐스틱 변분 베이지안 방법, 혹은 딥러닝 기반 인코더와 결합해 효율성을 높이고, 시각·촉각 등 다중 모달 정보를 통합해 보다 인간과 유사한 언어 습득 메커니즘을 구현하고자 한다. **9. 결론** 본 논문은 비지도 베이지안 프레임워크인 HDP‑HLM을 제안하고, 이를 기반으로 NPB‑DAA를 구현함으로써 연속 음성에서 단어와 음소를 동시에 추출하는 새로운 방법을 제시한다. 실험을 통해 기존 방법보다 우수한 성능을 입증했으며, 언어와 음향 모델을 통합적으로 학습할 수 있는 가능성을 보여준다. 이는 인공지능이 인간 영아와 유사한 방식으로 언어를 습득하는 데 한 걸음 더 나아간 연구라 할 수 있다.