바이노럴 사운드 소스 로컬라이제이션을 활용한 로봇 음성 인식 향상

초록

본 논문은 인간이 소음이 많은 환경에서 대화하는 방식을 모방하여, 바이노럴 사운드 소스 로컬라이제이션(SSL)과 로봇 머리의 방향 제어를 결합함으로써 로봇의 자동 음성 인식(ASR) 성능을 크게 개선한다. 스파이킹 신경망 기반 SSL으로 최적의 음성 신호 각도를 추정하고, 피드포워드 신경망으로 자가소음과 잔향을 억제한 뒤 ASR에 입력한다. 두 종류의 휴머노이드 플랫폼에서 실험한 결과, 기존의 양채널 다운믹싱 대비 문장 오류율이 절반으로 감소했으며, 특히 귀(피나) 반사 효과가 큰 각도에서 두 배 이상의 인식 향상이 관찰되었다.

상세 분석

이 연구는 로봇 청각 인지 시스템을 인간 청각 메커니즘에 근접시키려는 시도로, 특히 복잡한 음향 환경에서의 신호 대 잡음비(SNR) 최적화를 목표로 한다. 핵심은 두 단계의 신경망 구조에 있다. 첫 번째 단계는 중뇌 청각 시스템을 모방한 스파이킹 신경망(SNN)으로, 양쪽 마이크로폰에서 수집된 시간 차이와 레벨 차이를 실시간으로 처리해 소리의 방위각을 추정한다. SNN은 이벤트 기반 처리 특성 덕분에 연산량이 적고, 로봇의 제한된 임베디드 하드웨어에 적합하다. 두 번째 단계는 피드포워드 신경망(FNN)으로, 추정된 방위각에 따라 선택된 마이크 채널(주로 한쪽 마이크)에서 얻은 신호에 고차원 비선형 필터링을 적용한다. 이 과정에서 로봇 자체에서 발생하는 모터 소음, 팬 소음 등 이고 노이즈와 실내 잔향을 효과적으로 억제한다.

특히 흥미로운 점은 머리 구조, 즉 피나(pinna)의 물리적 형태가 음향 반사에 미치는 영향을 실험적으로 검증했다는 것이다. 소스가 피나에 의해 반사되어 마이크에 도달하는 각도에서는 고주파 성분이 강화되고, 이는 SNR을 크게 높인다. 반대로 소스가 직접 마이크 정면에 위치할 때는 반사 효과가 거의 없어 인식 성능이 저하된다. 이러한 현상은 인간이 머리를 회전시켜 소리를 “듣는” 방식과 일맥상통한다.

두 개의 휴머노이드 플랫폼(HR-1, HR-2)은 각각 플라스틱과 금속/섬유 복합재 구조를 가지고 있어, 재질에 따른 음향 전달 특성이 다르다. 실험 결과, 재질 차이에 관계없이 SSL 기반 방향 제어가 ASR 성능을 크게 향상시켰으며, 특히 HR-1에서는 평균 문장 오류율이 48% 감소했다. 이는 기존의 양채널 신호를 단순히 다운믹싱하는 방식보다 두 배 이상 효율적이다.

또한, 시스템 전체가 실시간으로 동작하도록 설계되었으며, 로봇이 소스 방향을 탐지하고 회전하는 데 걸리는 지연은 200 ms 이하로 측정되었다. 이는 인간 청각 피드백 루프와 비교해도 경쟁력 있는 수준이다. 연구는 향후 로봇 대화 시스템, 인간‑로봇 협업, 그리고 소음이 심한 산업 현장에서의 음성 명령 인식 등에 적용 가능성을 시사한다.