멀티패스 활용 개인 음성 전송 기술

본 논문은 “멀티패스(다중 경로) 기반 개인 음성 전송”이라는 새로운 문제 설정을 제시한다. 목표는 실내에 배치된 몇 개의 스피커를 이용해 여러 청취자에게 각각 다른 음성 메시지를 전달하면서, 방 안의 어느 위치에서도 그 메시지를 이해할 수 없도록 하는 것이다. 기존의 개인 음향 구역(personal audio zone) 연구는 목표 구역 외에도 신호가 남아 있기 때문에 고감도 마이크나 인간의 청각으로도 정보를 추출할 수 있다는 한계가 있었다. 이를 극복하기 위해 저자들은 두 가지 전혀 다른 노이즈 기반 방법을 고안했다. 첫 번째 방법은 “다채널 컨볼루션 합성(Multi‑Channel Convolutional Synthesis, MCCS) by noise”이다. 각 스피커 i는 화이트 가우시안 노이즈 nᵢ를 사전 설계된 필터 gᵢ와 컨볼루션하여 신호 xᵢ = nᵢ * gᵢ를 방출한다. 여기서 필터 gᵢ는 전체 채널 행렬 H와 노이즈 행렬 N을 결합한 행렬 HN 에 대해 목표 청취 지점에서 원하는 메시지 y_in 을 생성하도록 역문제(최소제곱)로 풀어 얻는다. 즉, HN g = y_in 을 만족하는 g 를 CG(Conjugate Gradient)와 FFT 기반 Toeplitz 연산으로 효율적으로 계산한다. 이 설계의 핵심은 방 안의 다양한 RIR(방향성 임펄스 응답)들이 서로 다른 시간 지연과 감쇠를 제공함으로써, 특정 청취 지점에서는 노이즈가 정확히 “디스크램블”되어 원본 메시지를 복원하고, 다른 위치에서는 서로 다른 RIR 조합으로 인해 무작위 합성만 남아 intelligibility가 급격히 감소한다는 점이다. 특히 에코가 풍부한 방에서는 RIR의 공간적 다양성이 커져 HN 이 풀랭크(full‑row‑rank)될 확률이 높아지며, 이론적으로는 L_g ≥ N·K 이면 HN 이 풀랭크가 될 확률이 1이라고 증명한다. 두 번째 방법은 무선 통신에서 영공간(null‑space) 잡음 주입 기법을 차용한 “Noise in the Nullspace” 접근법이다. 전체 채널 행렬 H에 대해 메시지 전용 벡터 s와 잡음 벡터 w를 구성한다. s는 Hs = y_in 을 만족하도록 설계하고, w는 Hw = 0 이 되도록 H의 영공간에 투영된 무작위 가우시안 벡터 v 에서 얻는다. 즉, w = v − Hᵀẑ 이며, ẑ 은 min ‖v − Hᵀz‖² 문제를 CG로 풀어 얻는다. 이렇게 하면 목표 청취 지점에서는 s 만이 전달되고 잡음 w 는 완전히 소거된다. 반면 다른 위치에서는 H가 달라 영공간이 다르므로 w 가 남아 신호‑대‑잡음비(SNR)를 크게 악화시켜 intelligibility를 감소시킨다. 이 방법 역시 H가 풀랭크일 경우 완벽 복원이 가능하며, 기본적인 선형대수 조건(행 수 ≤ 열 수, L_x + L_h − 1 ≥ N 등)을 만족하면 된다. 실험에서는 6개의 스피커와 2~3명의 청취자를 대상으로 시뮬레이션과 실제 사무실 환경에서 STOI(Short‑Time Objective Intelligibility) 점수를 측정했다. 시뮬레이션에서는 무향실(에코 없음)과 리버브가 있는 방을 비교했는데, 무향실에서는 두 번째 청취자에게 메시지가 제대로 복원되지 않았지만, 리버브가 있는 방에서는 두 청취자 모두 STOI≈1을 달성했다. 이는 다중 경로가 채널 행렬 H를 더 잘 조건화시켜 풀랭크를 보장한다는 것을 의미한다. 또한 4200개의 임의 위치에서 측정한 히트맵은 영공간 방식이 비목표 지역에서 STOI를 더 낮게 만들어 잡음 차단 효과가 더 강함을 보여준다. 노이즈 파라미터에 대한 민감도 분석에서도 두 방법의 차이가 드러났다. 영공간 방식은 잡음 분산을 증가시킬수록 비목표 위치의 STOI가 급격히 감소하는 반면, MCCS 방식은 노이즈가 필터 gᵢ에 의해 스케일링되어 전체 출력 파워가 일정하게 유지되므로 STOI가 크게 변하지 않는다. 반대로 MCCS 방식은 노이즈 길이 L_n 을 늘릴수록 비목표 위치에서의 STOI가 감소하는 경향을 보였으며, 이는 긴 노이즈 시퀀스가 RIR 변화에 더 민감하게 반응하기 때문이다. 결론적으로, 이 논문은 실내 음향의 다중 경로 특성을 활용해 “프라이버시 보호형 개인 음성 전송”을 구현하는 두 가지 실용적인 알고리즘을 제시한다. 적은 수의 스피커와 제한된 RIR 측정만으로도 목표 지점에서는 높은 청취 품질을, 그 외 지역에서는 거의 무 intelligibility를 달성할 수 있음을 실험적으로 입증하였다. 이러한 기술은 회의실, 전시관, 스마트 홈 등 다양한 실내 환경에서 개인화된 오디오 서비스를 제공하면서 동시에 청취자의 프라이버시를 보호하는 데 중요한 기반이 될 것으로 기대된다.