다중 기하학적 공간 필터링을 이용한 원거리 음성 인식 향상

초록

본 논문은 마이크 배열의 기하학적 불일치에 강인한 다채널(멀티채널) 음성 인식 모델을 제안한다. 공간 필터링 층을 초기화한 뒤 LSTM 기반 음향 모델과 결합해, 실시간 스트리밍 환경에서도 통계 누적 없이 학습 가능한 구조를 구현한다. 실험 결과, 2채널 모델이 단일 채널 LFBE 대비 평균 13 % 정도 WER 감소를 달성했으며, 7채널 전통 빔포머 대비 7 % 이상의 상대 개선을 보였다.

상세 분석

이 연구는 원거리 음성 인식(DSR) 시스템에서 마이크 배열 기하학 불일치가 초래하는 성능 저하 문제를 근본적으로 해결하고자 한다. 기존의 빔포밍 기반 전처리 방식은 설계 시 가정한 배열 형태와 실제 사용 환경 사이의 차이로 인해 잡음 억제와 신호 강화 효과가 급격히 감소한다. 특히, 전통적인 빔포머는 사전 정의된 가중치와 방향을 사용하므로, 배열이 미세하게 이동하거나 회전하면 최적의 신호 대 잡음비(SNR)를 확보하지 못한다. 논문은 이러한 한계를 극복하기 위해 ‘공간 필터링(SF) 층’을 신경망의 첫 번째 레이어에 배치하고, 이 층을 다양한 배열 기하학과 여러 탐색 방향에 대한 빔포머 가중치로 초기화한다. 초기화된 가중치는 복소수 형태를 실수 행렬로 변환해 실시간 FFT 기반 처리에 적용되며, 이는 전통적인 빔포밍 연산을 신경망 내부에서 직접 수행하도록 만든다.

두 가지 네트워크 아키텍처가 제안된다. 첫 번째인 Elastic SF(ESF) 구조는 각 빔포머 출력에 대해 완전 연결(fully‑connected) 레이어를 적용해 주파수별로 자유롭게 결합한다. 이는 주파수 간 상관관계를 학습할 수 있게 해 주지만 파라미터 수가 늘어나는 단점이 있다. 두 번째인 Weight‑Tied SF(WTSF) 구조는 모든 주파수에 동일한 가중치를 공유하도록 설계되어, 2차원 컨볼루션과 맥스 풀링을 통해 가장 에너지가 높은 빔포머 출력을 선택한다. 이 방식은 주파수 차원에서 일관된 결합을 보장하면서도 파라미터 효율성을 크게 향상시킨다. 특히, 맥스 풀링은 전통적인 ‘최고 에너지 빔포머 선택’ 과정을 신경망 내부 연산으로 대체해, 별도의 통계 누적 없이 실시간 스트리밍 처리에 적합하도록 만든다.

학습은 단계적 방식(stage‑wise)으로 진행된다. 먼저 단일 채널 LFBE 기반 LSTM 음향 모델을 사전 학습한 뒤, 멀티채널 DFT 입력을 사용해 전체 네트워크를 공동 최적화한다. 이때 손실 함수는 전통적인 교차 엔트로피이며, 음성 인식 목표와 직접 연결돼 있기 때문에, 별도의 음성 향상(denoising) 목표와의 불일치 문제가 사라진다. 또한, 다중 배열 기하학 데이터를 포함한 대규모(≈1150시간) 실제 사용자 음성 데이터를 활용해 모델이 다양한 마이크 간 거리와 배치를 자동으로 일반화하도록 훈련한다.

실험 결과는 두드러진 성능 향상을 보여준다. 2채널 ESF 모델은 동일 배열(매칭) 조건에서 WER을 12.3 % 감소시켰으며, 배열이 불일치(mismatched)된 경우에도 10.0 % 정도의 개선을 기록했다. 4채널 구성에서는 더 큰 이득을 얻었지만, 실제 디바이스에 적용 가능한 채널 수는 2채널이 가장 효율적이었다. 특히, 다중 기하학 데이터를 학습에 포함한 WTSF 모델은 2채널 구성에서 평균 12.1 %의 WER 감소와 17.1 %(SNR > 15 dB)까지의 높은 개선을 달성했다. 이는 전통적인 7채널 SD 빔포머 대비 7 % 이상의 상대 개선에 해당한다.

이 논문의 핵심 기여는 (1) 빔포머 가중치를 신경망 초기값으로 활용해 공간 필터링을 학습 가능한 레이어로 전환, (2) 주파수 독립적인 처리와 가중치 공유를 통해 파라미터 효율성을 극대화, (3) 실시간 스트리밍 환경에서도 통계 누적 없이 동작 가능한 구조 설계, (4) 다양한 배열 기하학에 대한 강인성을 확보함으로써 실제 제품에 바로 적용 가능한 DSR 솔루션을 제공한다는 점이다.