보이지 않는 음성 데이터를 위한 DNN 출력층 활성도 기반 데이터 선택 전략

초록

본 논문은 음성 인식 DNN 모델의 출력층 활성도를 활용해 비지도 적응에 사용할 데이터의 신뢰성을 판단하는 방법을 제안한다. 보이지 않는(미학습) 데이터에서는 가장 높은 확률을 가진 클래스와 두 번째 높은 클래스 사이의 차이가 감소하는 현상이 관찰된다. 이를 거리 측정값으로 정량화하여 신뢰도가 높은 샘플만을 선택함으로써, 오류가 섞인 가설 라벨에 의한 부정적 적응을 방지하고 모델 성능을 향상시킨다. 실험 결과, 제안된 선택 기준이 기존 무조건적 적응보다 월드와이드 워드 오류율(WER) 감소에 크게 기여함을 확인하였다.

상세 분석

이 연구는 심층 신경망(DNN) 기반 음성 인식 시스템에서 비지도 적응을 수행할 때, 적응 데이터의 라벨 품질이 모델 성능에 미치는 영향을 심도 있게 탐구한다. 기존의 비지도 적응 방식은 현재 모델이 생성한 가설을 그대로 라벨로 사용하지만, 가설이 부정확하면 적응 과정에서 오류가 증폭되어 전체 인식 정확도가 저하될 위험이 있다. 논문은 이러한 문제를 해결하기 위해 DNN 출력층의 활성도, 즉 소프트맥스 전후의 확률 분포를 정량적 신뢰 지표로 활용한다. 구체적으로, 각 프레임에 대해 가장 높은 확률을 가진 목표 클래스(p₁)와 두 번째로 높은 클래스(p₂) 사이의 차이 Δ = p₁ – p₂ 를 계산하고, Δ가 클수록 모델이 해당 프레임에 대해 높은 확신을 가지고 있다고 판단한다. 보이지 않는 데이터에서는 모델이 학습되지 않은 발음·환경 변동에 직면해 p₁과 p₂가 비슷해지는 경향이 나타나며, 이는 Δ가 작아지는 형태로 나타난다. 따라서 Δ를 임계값 θ와 비교해 Δ ≥ θ 인 샘플만을 적응에 사용하도록 선택한다. 이 과정은 데이터 선택 단계에서 오류 전파를 차단하고, 적응에 사용되는 라벨의 품질을 보장한다는 점에서 혁신적이다. 실험에서는 다양한 잡음 및 채널 조건에서 수집된 비지도 데이터에 대해 Δ 기반 선택을 적용했으며, 선택된 데이터 비율을 30%70% 범위에서 조정하면서 모델의 워드 오류율(WER) 변화를 측정하였다. 결과는 Δ 기반 선택이 무조건적 적응에 비해 평균 58% 절대값 감소된 WER을 달성했으며, 특히 심각한 잡음 환경에서 그 효과가 두드러졌다. 또한, Δ 값 자체가 데이터의 품질을 예측하는 지표로서 높은 상관관계를 보였으며, 이는 향후 적응 스케줄링이나 동적 임계값 조정에 활용될 가능성을 시사한다. 한계점으로는 Δ만을 단일 기준으로 사용할 경우, 특정 클래스 간 확률 차이가 작지만 실제 발음이 정확한 경우를 놓칠 수 있다는 점이다. 향후 연구에서는 Δ와 함께 엔트로피, 신뢰도 캘리브레이션 등 복합 지표를 결합하거나, 시퀀스 레벨에서의 일관성을 고려한 선택 전략을 개발함으로써 더욱 정교한 데이터 선별이 가능할 것으로 기대된다.