확산 반사 기반 실내 음향 시뮬레이션으로 향상된 음성 인식 및 키워드 탐지

본 논문은 실내 음향 환경을 보다 현실적으로 모델링하기 위해, 확산 반사와 차폐를 포함하는 기하학적 음향 시뮬레이션(GAS) 방법을 제안한다. 기존에 음성 인식 및 키워드 탐지와 같은 음성 처리 작업에서 널리 사용되어 온 이미지 메서드(Image Method)는 직사각형 방을 가정하고, 표면에서의 정규(스펙큘러) 반사만을 고려한다. 이러한 단순화는 실제 실내에서 흔히 발생하는 확산 반사와 차폐 효과를 무시하게 만들며, 특히 늦은 잔향(late reverberation) 부분을 제대로 재현하지 못한다는 한계가 있다. 저자들은 Monte Carlo 경로 추적 기반의 기하학적 음향 시뮬레이션을 도입한다. 각 표면에 흡수 계수와 확산 계수(s)를 할당하고, 광선을 무작위 방향으로 발사하여 스펙큘러와 확산 반사를 모두 시뮬레이션한다. 확산 반사는 Lambert’s cosine law에 따라 확률적으로 방향을 바꾸며, 차폐가 발생하면 직접 경로가 차단된 경우에도 반사 경로를 통해 에너지가 전달되도록 설계되었다. 이 과정은 식(1)과 같이 입사 에너지와 반사 확률 분포 함수를 통합하여 재귀적으로 계산되며, Monte Carlo 적분을 통해 수치적으로 해결한다. 복잡도는 O(M log N)으로, M은 추적된 광선 수, N은 장면 내 표면 수이며, 이미지 메서드의 O(N^d)와 비교해 고차 반사와 복잡한 장면에서도 효율적이다. 시뮬레이션 파라미터는 방 크기, 높이, T60(잔향 시간), 스피커와 마이크 간 거리 등을 실제 실내 환경을 반영하도록 무작위로 샘플링하였다. 구체적으로 방 크기는 3 m × 3 m × 2.5 m부터 8 m × 10 m × 6 m까지, T60는 0.05 s~0.5 s, 스피커와 마이크 간 거리는 0.5 m~6 m 범위에서 설정되었다. 이러한 설정으로 5,000개의 서로 다른 방 구성에 대해 각각 이미지 메서드와 GAS를 이용해 RIR을 생성하였다. 데이터 증강 단계에서는 1,500시간 규모의 청음성(깨끗한 음성) 데이터를 5,000개의 RIR과 다양한 환경 소음(SNR 0~24 dB)을 사용해 합성하였다. 결과적으로 두 종류의 훈련 데이터 세트(이미지 메서드 기반, GAS 기반)가 만들어졌으며, 동일한 신경망 구조에 각각 적용해 성능을 비교하였다. ASR 실험에서는 2D CNN + 5 층 LSTM 구조를 사용하였다. 입력 특징은 40차원 멜 필터뱅크에 1차·2차 차분을 추가해 120차원으로 만든 뒤, 전후 5프레임을 각각 결합해 1,320차원 벡터를 형성한다. 모델은 12,000개의 음소 클래스를 출력하며, Adam 옵티마이저(학습률 1e‑4)와 5‑gram 언어 모델을 사용한다. 테스트는 실제 실내에서 녹음된 2,000개의 발화(총 3시간)로 진행되었으며, GAS 기반 데이터로 훈련된 모델은 이미지 메서드 대비 문자 정확도가 1.58% 절대 향상되었다. KWS 실험에서는 1D CNN + 2 층 LSTM 구조를 채택하고, 40차원 멜 필터뱅크와 차분을 결합해 1,920차원 입력을 만든다. 2,500시간 규모의 청음성(키워드 “Hi, Liu Bei”와 비키워드) 데이터를 동일한 방식으로 합성했으며, 6채널 마이크 배열을 MVDR 빔포머로 처리한 뒤 단일 채널로 변환하였다. 테스트는 실제 스마트 스피커 환경에서 수집된 8,000개의 키워드 발화와 33시간의 비키워드 음성으로 구성되었다. 결과는 GAS 기반 모델이 이미지 메서드 대비 키워드 탐지 정확도가 21% 상승함을 보여준다. 논문의 주요 기여는 다음과 같다. 첫째, 차폐와 확산 반사를 포함한 물리 기반 시뮬레이션을 통해 실제 실내 음향을 정밀하게 재현하였다. 둘째, 대규모 무작위 방 구성을 활용해 다양한 RIR을 생성함으로써 데이터 증강의 다양성을 크게 확대하였다. 셋째, 이러한 합성 데이터를 실제 ASR 및 KWS 시스템에 적용했을 때, 기존 이미지 메서드 대비 의미 있는 성능 향상을 입증하였다. 하지만 몇 가지 한계점도 존재한다. Monte Monte Carlo 경로 추적은 샘플 수에 따라 결과의 분산이 커질 수 있어, 고품질 RIR을 얻기 위해서는 충분한 광선 수가 필요하고 계산 비용이 증가한다. 논문에서는 구체적인 광선 수와 수렴 기준을 명시하지 않아, 실제 적용 시 비용 추정이 어려울 수 있다. 또한 확산 계수를 주파수 독립적으로 설정했는데, 실제 재료는 주파수에 따라 확산 특성이 달라진다. 따라서 향후 연구에서는 주파수 의존적 스캐터링 모델을 도입하거나, 저주파 영역에서는 파동 기반(FEM, BEM) 시뮬레이션과 하이브리드 결합을 고려하면 더욱 현실적인 RIR을 얻을 수 있을 것이다. 결론적으로, 본 연구는 고품질 합성 RIR을 통한 데이터 증강이 음성 인식 및 키워드 탐지 성능을 크게 향상시킬 수 있음을 실증했으며, 향후 다양한 음성 처리 응용 분야와 더 정교한 음향 모델링 기법에 대한 연구 기반을 제공한다.