다중 화자 방향 추정, 잡음 기반 합성 데이터와 CNN으로 구현

본 논문은 다중 화자의 도착 방향(DOA)을 정확히 추정하기 위해, 마이크 어레이에서 얻은 단시간 푸리에 변환(STFT) 위상 정보를 직접 입력으로 사용하는 컨볼루션 신경망(CNN) 기반의 새로운 프레임워크를 제안한다. 기존의 DOA 추정 방법은 자유공간 가정, 복잡한 특징 추출 단계, 높은 연산 비용 등으로 인해 실내의 복잡한 음향 환경에서 성능이 급격히 저하되는 문제가 있었다. 이러한 한계를 극복하고자 저자들은 두 가지 핵심 전략을 채택하였다. 첫 번째 전략은 입력 특징으로 “phase map”이라 불리는 M × K 형태의 위상 행렬을 사용한다. 여기서 M은 마이크 수, K는 STFT의 주파수 빈(bin) 수이다. 위상만을 사용함으로써 신호의 크기(magnitude) 변동에 대한 민감도를 낮추고, 다양한 잡음·리버버레이션 조건에서도 일반화가 가능하도록 설계하였다. CNN은 2 × 1 크기의 작은 필터를 여러 층에 걸쳐 적용해 인접 마이크 간 위상 차이를 주파수별로 학습한다. 이러한 설계는 각 레이어가 마이크 쌍 사이의 상관을 점진적으로 포괄하도록 하여, 마이크 수 M에 대해 최적의 레이어 수가 M‑1임을 이론적으로 제시하고 실험적으로도 검증한다. 두 번째 전략은 다중 화자 상황에서도 합성 잡음 신호만으로 학습 데이터를 효율적으로 생성하는 방법이다. 다중 화자가 동시에 활성화될 경우 STFT 위상이 비선형적으로 결합되어 학습이 어려워지는 문제를 해결하기 위해, 음성 신호가 시간‑주파수 영역에서 거의 겹치지 않는다는 W‑disjoint orthogonality 가정을 차용한다. 이 가정 하에 각 화자의 위상 정보를 별도로 유지하면서, 실제 음성 대신 잡음 신호를 사용해 라벨이 부착된 대규모 데이터셋을 손쉽게 만들 수 있다. 따라서 라벨링 비용이 크게 감소하고, 다양한 방 환경·잡음 유형을 포함한 다중 조건 학습이 가능해진다. 네트워크 출력은 I개의 시그모이드 유닛으로 구성된 다중 라벨 이진 분류 형태이다. 각 유닛은 사전에 정의된 DOA 클래스(θ₁…θ_I)에 대한 존재 확률을 나타낸다. 학습 시에는 이진 교차 엔트로피 손실을 사용해 각 클래스별로 독립적으로 최적화한다. 테스트 단계에서는 프레임 단위로 얻은 클래스 확률을 일정 블록 길이만큼 평균하고, 사전에 알려진 화자 수 L에 따라 확률이 가장 높은 L개의 클래스를 최종 DOA 추정값으로 선택한다. 화자 수가 미리 알려지지 않은 경우, 평균 확률 분포의 피크 수를 이용해 추정할 수 있다. 실험은 두 가지 주요 축으로 진행되었다. 첫째, 시뮬레이션 방(다양한 RT60, SNR)과 실제 측정된 방 임펄스 응답(RIR)을 사용해 훈련·테스트 데이터를 구성하고, 보이지 않는 방·잡음 유형(예: 백색 잡음, 기계 잡음)에서도 모델이 높은 정확도를 유지함을 확인하였다. 둘째, 마이크 수를 2~8개로 변동시키면서 M‑1 레이어 설계가 성능에 미치는 영향을 분석하였다. 결과는 M‑1 레이어가 가장 낮은 평균 절대 오차와 높은 정확도를 제공함을 보여준다. 또한, 블록 길이를 조절해 동적 환경(화자 이동·출현·소멸)에서도 실시간 추적이 가능함을 시연하였다. 본 논문의 주요 공헌은 다음과 같다. 1. 위상 맵을 직접 입력으로 하는 CNN 기반 다중 화자 DOA 추정 프레임워크 제시. 2. W‑disjoint orthogonality를 활용해 잡음 기반 합성 학습 데이터를 생성함으로써 라벨링 비용을 크게 절감하고, 다양한 음향 조건에 대한 강인성을 확보. 3. 마이크 수 M에 대한 최적 컨볼루션 레이어 수(M‑1)를 이론·실험적으로 입증, 파라미터 효율성을 증명. 4. 시뮬레이션 및 실제 방 데이터 모두에서 보이지 않는 환경·잡음에 대한 일반화 능력을 검증하고, 동적 시나리오에서도 실시간 적용 가능성을 입증. 이러한 접근은 로봇 청각, 회의 시스템, 스마트 스피커 등 실시간 다중 화자 인식이 요구되는 다양한 응용 분야에 바로 적용될 수 있다. 향후 연구에서는 화자 수 자동 추정, 비균등 마이크 배열, 그리고 비정상적인 음향 환경(예: 야외, 이동형 플랫폼) 등에 대한 확장이 기대된다.