딥러닝 기반 음성 인식을 위한 저차원 서브스페이스 활용

본 논문은 딥 뉴럴 네트워크(DNN) 기반 음성 인식 시스템에서 발생하는 고차원 사후확률 벡터의 저차원 구조를 명시적으로 활용함으로써 인식 성능을 향상시키는 새로운 방법론을 제시한다. 연구는 크게 네 부분으로 구성된다. 첫 번째는 배경 및 동기 부여이다. 음성은 발음 기관의 제한된 자유도에 의해 생성되며, 따라서 음성 데이터는 여러 저차원 서브스페이스(예: 음소, 서브음소)의 합집합으로 표현될 수 있다. 기존 DNN‑HMM 시스템은 이러한 구조적 특성을 무시하고 고차원 사후확률을 직접 사용한다. 특히 잡음이나 도메인 불일치 상황에서는 고차원 잡음 성분이 사후확률에 섞여 오류를 유발한다. 따라서 저차원 서브스페이스를 명시적으로 모델링하고, 이를 통해 사후확률을 정제하는 것이 필요하다는 점을 강조한다. 두 번째는 이론적 기반 및 모델 설계이다. 저차원 서브스페이스들의 합집합을 Union of Low‑Dimensional Subspaces(ULDS)라고 정의하고, 각 클래스(센노)마다 별도의 과잉표현 사전 Dₗ을 학습한다. 사전 학습은 온라인 딕셔너리 학습 알고리즘을 사용해 L₂ 정규화된 원자(dⱼ)와 L₁ 정규화된 희소 계수(α) 문제를 최적화한다. 여기서 핵심 가정은 서브스페이스가 서로 거의 겹치지 않는(disjoint) 경우, SSR(Subspace Sparse Recovery) 이론에 따라 해당 클래스의 원자만이 비제로 계수를 갖게 된다는 것이다. 세 번째는 구현 및 실험 절차이다. 실험 데이터는 Numbers’95 데이터베이스의 숫자 발화만을 사용했으며, 27개의 음소와 557개의 컨텍스트 의존 센노를 정의하였다. DNN은 3개의 은닉층(각 1024노드)으로 구성되고, 입력은 9프레임 컨텍스트를 포함한 351차원 MFCC 기반 특징이다. DNN 출력은 557차원 사후확률 벡터이며, 이를 바로 사전 학습에 사용한다. 각 센노당 약 100개의 원자를 학습했으며, λ=0.2의 정규화 파라미터를 통해 L₁ 희소 코딩을 수행한다. 테스트 시에는 전체 사전 D에 대해 그룹 스파시티를 고려한 계층적 Lasso를 적용해 α를 구하고, Dα를 통해 사후확률을 저차원 서브스페이스에 투영한다. 네 번째는 결과 분석 및 논의이다. 먼저 Singular Value Decomposition을 이용해 원본 DNN 사후확률 행렬과 재구성된 Dα 행렬의 ‘Rank’를 비교하였다. 전체 사후확률의 평균 Rank는 36.6이었으나, ‘정답’ 클래스(최대값이 해당 센노인 경우)의 Rank는 7.6으로 현저히 낮았다. 재구성된 Dα는 평균 Rank가 11.9로, 원본보다 저차원 구조를 잘 보존함을 보여준다. 또한 RPCA를 적용해 저차원 성분(L)과 스파시티 성분(N)을 분리했을 때, L의 Rank는 7.6으로 DNN 사후확률보다 훨씬 낮으며, 이는 희소 코딩이 잡음 성분을 효과적으로 제거한다는 증거이다. 마지막으로 인식 성능 평가에서는 DNN‑HMM 디코더에 정규화된 Dα를 입력함으로써 깨끗한 환경과 다양한 잡음 레벨 모두에서 워드 오류율(WER)이 감소했다. 특히, 가장 어려운 잡음 조건에서 최대 15.4%의 상대적 WER 감소를 기록하였다. 이는 저차원 서브스페이스 기반 정제가 DNN 사후확률의 신뢰성을 크게 향상시킨다는 실증적 결과이다. 결론적으로, 본 연구는 (1) DNN 출력 사후확률을 저차원 서브스페이스 합집합으로 모델링하는 새로운 프레임워크, (2) 클래스별 사전 학습과 그룹 스파시티 기반 희소 코딩을 통한 실용적 구현, (3) 저차원 구조가 잡음에 강인한 사후확률 정제와 인식 성능 향상에 기여한다는 세 가지 주요 기여를 제시한다. 향후 연구에서는 더 큰 어휘와 다국어 데이터에 대한 확장, 실시간 시스템에 적용 가능한 경량 사전 설계, 그리고 서브스페이스 간 겹침을 고려한 보다 정교한 모델링이 기대된다.