그래프 기반 매니폴드 정규화 딥 뉴럴 네트워크를 이용한 자동 음성 인식

1. 서론 최근 딥 뉴럴 네트워크(DNN)가 음성 인식 분야에서 뛰어난 성능을 보이며, 특징 추출 및 하이브리드 음향 모델링에 널리 활용되고 있다. 그러나 DNN 학습 시 과적합을 방지하고 일반화 능력을 높이기 위한 정규화 기법이 여전히 중요한 연구 과제로 남아 있다. 본 논문은 이러한 배경에서, 입력 특징 벡터가 저차원 매니폴드 위에 존재한다는 가정 하에, 매니폴드 구조를 보존하는 정규화 항을 DNN 학습 목표에 추가하는 새로운 방법을 제안한다. 2. 배경 이론 2.1 DNN 기본 표준 DNN은 입력 x와 출력 z 사이의 매핑 f_dnn을 학습하며, 손실 함수 V와 L2 정규화 γ₁·‖W‖²를 최소화한다. 역전파와 미니배치 경사 하강법을 통해 가중치 W를 업데이트한다. 2.2 매니폴드 학습 고차원 데이터가 저차원 매니폴드에 근접한다는 전제 하에, 지역 이웃 관계를 보존하는 변환이 중요하다. 기존 비지도 매니폴드 학습(LPP 등)은 클래스 구분 정보를 활용하지 못한다. 이를 보완하기 위해 Discriminative Manifold Learning(DML)이 도입되었으며, intrinsic graph와 penalty graph를 통해 동일 클래스 내 거리와 클래스 간 거리를 각각 최소·최대화한다. 2.3 LSH 기반 이웃 탐색 대규모 데이터에서 그래프를 구축하려면 모든 쌍의 거리를 계산해야 하는데, 이는 O(N²) 복잡도를 초래한다. 논문은 Locality Sensitive Hashing을 이용해 해시 버킷에 데이터를 배치하고, 동일 버킷 내에서만 k‑NN을 찾음으로써 계산량을 크게 줄인다. 3. 매니폴드 정규화 딥 뉴럴 네트워크(MRDNN) 설계 3.1 목적함수 MRDNN의 목적함수는 다음과 같다. F(W;Z)= (1/N)∑_i V(x_i,t_i,f_mrdnn) + γ₁‖W‖² + γ₂ (1/k)∑_{j∈N(i)}‖z_i−z_j‖² ω_int_ij 첫 두 항은 기존 DNN과 동일하고, 세 번째 항이 매니폴드 정규화 항이다. 여기서 N(i)는 각 샘플 i의 k‑nearest 이웃 집합이며, ω_int_ij는 Gaussian 커널 기반 가중치이다. penalty graph는 제외하고 intrinsic graph만 사용함으로써 동일 클래스 내 관계를 강화한다. 3.2 학습 절차 역전파 과정에 매니폴드 항에 대한 그래디언트를 추가한다. ∂F/∂W는 기존 손실에 대한 그래디언트와 2γ₁W, 그리고 2γ₂∑_{j∈N(i)}(z_i−z_j)·∂z_i/∂W·ω_int_ij 로 구성된다. 구현상 큰 차이는 없으며, 추가 연산은 이웃 집합에 대한 거리 계산과 가중치 곱셈 정도이다. 3.3 수렴 및 안정성 실험 결과, 매니폴드 정규화가 적용된 네트워크는 학습 초기에 그래디언트 분산이 감소하고, 더 부드러운 손실 곡선을 보였다. 이는 지역 구조를 보존함으로써 파라미터 공간에서의 급격한 변동을 억제하는 효과로 해석된다. 4. 실험 설정 4.1 데이터셋 - Aurora‑2: 연결된 숫자(10종) 잡음 환경, SNR 0‑20 dB - Aurora‑4: 대규모 연속 음성, 14개의 잡음·채널 변형 포함 4.2 모델 구성 베이스라인은 6층 DNN(1024 유닛) + bottleneck(80 유닛) 구조이며, 출력은 3000개 이상의 히든 마크로폰 상태. MRDNN은 동일 구조에 γ₂=0.01, k=10, ρ=0.5 등으로 매니폴드 정규화 항을 추가하였다. 4.3 평가 지표 Word Error Rate(WER)와 내부 은닉층의 contraction ratio를 사용했다. contraction ratio는 입력 이웃 반경과 출력 이웃 반경의 비율로, 1에 가까울수록 구조 보존이 잘 이루어진다. 5. 결과 및 분석 5.1 성능 향상 - Aurora‑2: 평균 WER 7.2 % → 4.5 % (≈37 % 상대 개선) - Aurora‑4: 평균 WER 15.8 % → 12.3 % (≈22 % 개선) 5.2 구조 보존 MRDNN은 3번째 은닉층에서 contraction ratio를 0.62(베이스라인 0.78)로 낮추어, 이웃 관계가 더 강하게 유지됨을 확인했다. 5.3 계산 복잡도 LSH를 활용한 그래프 구축은 전체 학습 시간의 약 10 %를 차지했으며, 전체 학습 시간은 베이스라인 대비 12 % 정도 증가했다. 초기 몇 에폭에만 정규화 항을 적용하면 추가 비용을 5 % 이하로 줄일 수 있다. 6. 논의 및 향후 과제 - 매니폴드 가정의 타당성: 실제 음성 데이터가 저차원 매니폴드에 얼마나 정확히 부합하는지 정량적 분석이 필요하다. - 잡음에 대한 강인성: 고강도 잡음 상황에서 이웃 그래프가 왜곡될 수 있어, 동적 그래프 업데이트 혹은 잡음에 강인한 거리 측정 방법이 요구된다. - 정규화 파라미터 자동 튜닝: γ₂와 k 값을 데이터 특성에 맞게 자동으로 결정하는 메커니즘이 향후 연구에 적합하다. 7. 결론 본 연구는 매니폴드 정규화라는 데이터 의존적 제약을 DNN 학습에 통합함으로써, 음성 인식 시스템에서 현저한 WER 감소와 내부 특징 공간의 구조적 일관성 향상을 달성했다. 제안된 MRDNN은 기존 정규화 기법과 비교해 구현 복잡도가 크게 증가하지 않으며, LSH 기반 이웃 탐색을 통해 대규모 데이터에도 적용 가능함을 보였다. 향후 매니폴드 모델링을 더욱 정교화하고, 실시간 시스템에 적용하기 위한 효율화 연구가 기대된다.