딥 어드혹 빔포밍 무선 마이크 배열 기반 차음 강화

본 논문은 ‘딥 어드혹 빔포밍(Deep Ad-hoc Beamforming, DAB)’이라는 새로운 프레임워크를 제안한다. 기존 딥러닝 기반 음성 향상 기술은 주로 단일 마이크 혹은 고정된 선형 배열에 적용돼 왔으며, 화자와 마이크 간 거리가 멀어질수록 성능이 급격히 저하되는 문제가 있었다. 어드혹 마이크 배열은 마이크가 무작위로 배치된 형태로, 화자와 가까운 마이크를 포함할 확률이 높아 이러한 문제를 근본적으로 완화할 수 있다. 저자들은 어드혹 배열의 장점을 살리면서도 딥러닝의 강점을 결합하기 위해 다음과 같은 네 가지 주요 기여를 한다. 1. **감독 학습 기반 채널 선택** - 각 마이크 채널에 대해 사전 훈련된 DNN이 음성 품질 점수를 예측한다. - 점수와 채널 간 상관성을 동시에 고려해 ‘1‑best’ 혹은 ‘N‑best’ 방식으로 고품질·고상관 채널을 선택한다. - 선택 알고리즘은 사전에 정의된 N값을 사용할 수도 있고, 품질 임계값에 따라 자동으로 N을 결정하도록 설계될 수도 있다. 2. **간단한 시간 동기화 프레임워크** - 선택된 채널 중 품질이 가장 높은 채널을 기준 신호로 삼는다. - 전통적인 시간 지연 추정기(TDE)를 이용해 다른 채널의 상대 지연 τₘ을 추정하고, 이를 보정한다. - 이 과정은 별도의 하드웨어 동기화 없이도 구현 가능하며, 디바이스 간 클럭 차이·게인 변동 등을 효과적으로 처리한다. 3. **단일 채널 학습 방식** - DAB은 기존 딥빔포밍에서 사용되는 단일 채널 DNN(예: 마스크 추정기)을 그대로 활용한다. - 선택·동기화된 다채널 입력을 전처리 단계에서 결합해, 모델 자체는 채널 수와 무관하게 동작한다. - 따라서 새로운 마이크가 추가되거나 기존 마이크가 제거되어도 모델 재학습이 필요 없으며, 최신 단일 채널 음성 향상 기술을 그대로 이식할 수 있다. 4. **특징(Feature) 연구** - 두 종류의 handcrafted feature, 즉 변형된 STFT와 다중 해상도 코클레그램(MRCG)을 비교 실험하였다. - MRCG가 약간 더 높은 PESQ·STOI 점수를 보였지만, 두 특징 모두 DAB의 상대적 우위를 변화시키지는 않았다. 이는 프레임워크 자체가 특징 선택에 크게 의존하지 않음을 의미한다. **실험 설정** - 16채널 어드혹 배열을 3가지 방(정사각형, 직사각형, 원형)에서 무작위 배치하고, 화자와 마이크 간 거리를 0~20 m 범위에서 샘플링하였다. - 잡음은 확산 잡음(다양한 스펙트럼)과 점음원 잡음 두 종류를 사용했으며, 반향 시간(T₆₀)은 0.3 s~0.7 s로 설정하였다. - 성능 평가는 PESQ, STOI, SDR 등 표준 지표를 사용했으며, 모든 조건에서 DAB이 기존 선형 배열 기반 딥빔포밍보다 평균 1.5~2.3 dB 높은 SDR을 기록하였다. - 또한, 채널 선택 알고리즘별(N‑best, 자동 N 결정 등) 성능 차이를 분석했으며, ‘자동 N 결정’ 방식이 가장 안정적인 결과를 제공하였다. **결과 및 논의** - 어드혹 배열을 사용함으로써 화자와 가장 가까운 마이크가 평균 1.9 m 이내에 위치하게 되며, 이는 전통적인 선형 배열(평균 7.3 m)보다 크게 개선된다. - 채널 선택과 동기화가 결합된 DAB은 잡음 종류·반향 환경에 관계없이 일관된 성능 향상을 보여, 실제 스마트 홈·회의실·스마트 시티 등 다양한 실환경에 적용 가능함을 입증한다. - 코드와 핵심 모듈을 공개함으로써 재현성을 확보하고, 향후 다중 화자 분리, 음성 인식, 스피커 인증 등 다양한 어플리케이션으로 확장할 수 있는 기반을 제공한다. **결론** 딥 어드혹 빔포밍은 어드혹 마이크 배열이라는 물리적 제약을 딥러닝 기반 신호 처리와 결합해, 기존 선형 배열 기반 방법이 갖는 거리·동기화 한계를 극복한다. 채널 선택, 시간 동기화, 단일 채널 학습이라는 세 가지 핵심 모듈은 서로 독립적이면서도 상호 보완적으로 작동해, 시스템 전체의 유연성과 확장성을 크게 향상시킨다. 실험 결과는 다양한 잡음·반향 환경에서 현저한 성능 개선을 확인했으며, 특징 선택에 따른 민감도도 낮아 실제 적용 시 높은 견고성을 기대할 수 있다.