신경음향 다중극 스플래팅을 이용한 실내 임펄스 응답 합성

초록

본 논문은 신경음향 다중극 스플래팅(NAMS)이라는 새로운 프레임워크를 제안한다. 다중극(멀티폴) 위치와 방출 신호, 주파수‑의존성 지향성을 신경망으로 학습시켜, 보이지 않는 수신점에서도 고품질 실내 임펄스 응답(RIR)을 빠르게 합성한다. 초기에는 다중극을 밀집하게 배치하고, 훈련 과정에서 에너지 기반 프루닝을 적용해 불필요한 다중극을 제거함으로써 모델 경량화와 성능 향상을 동시에 달성한다. 실험 결과는 기존 방법들을 대부분의 객관적 지표에서 앞서며, 파라미터 수와 추론 시간에서도 효율적임을 보여준다.

상세 분석

NAMS은 물리적으로 타당한 사운드 필드 표현을 위해 Helmholtz 방정식의 해인 다중극을 기본 단위로 채택한다. 각 다중극 p는 위치 xₚ, 방출 신호 sₚ(t), 그리고 구면조화계수 bₙₘ,ₚ(t) 로 파라미터화되며, 이들 파라미터는 두 개의 MLP가 각각 담당한다. 신호 브랜치는 다중극 위치만을 입력으로 받아 시간‑도메인 신호 sₚ(t)를 생성하고, 이는 수신점 좌표와 무관하게 설계되어 물리적 인과성을 보장한다. 반면 지향성 브랜치는 수신점 xᵣ와 다중극 위치 차이를 이용해 상대 각도 Ωₚ(xᵣ)를 계산하고, 이를 구면조화 기반의 지향성 Dₚ(f, xᵣ) 로 변환한다. 구면조화 차수 N을 3까지 사용해 16채널(0~3차) 지향성을 모델링함으로써, 단순 monopole보다 복잡한 반사와 산란을 효과적으로 포착한다.

학습 목표는 실제 RIR과 합성 RIR 간의 스펙트럼, 위상, 시간‑도메인 손실을 가중합한 복합 손실 함수를 최소화하는 것이다. 특히 다중극 신호 sₚ(t)의 에너지를 정규화하고, Dₚ의 전체 에너지를 1로 고정함으로써 훈련 안정성을 높였다. 프루닝 전략은 100 epoch 이후 매 20 epoch마다 수행되며, 전체 다중극 중 에너지 중앙값의 50% 이하인 다중극을 제거한다. 이 과정은 모델이 자동으로 최적의 다중극 수를 찾아 과적합을 방지하고, 추론 시 연산량을 크게 감소시킨다.

실험에서는 실제 MeshRIR 데이터와 Treble 시뮬레이터 기반의 두 가상 아파트 환경을 사용했다. 초기 다중극 수는 구면에 32점씩, 반경 134 m까지 배치해 총 1,089개였으며, 프루닝 후 평균 225276개로 축소되었다. NAMS은 파라미터 1.8 M, 추론 시간 2.1–2.2 ms로, 기존 NAF(2.7 M, 1.9 ms)와 비교해 비슷한 속도이면서도 성능에서는 Amplitude error 0.11, Envelope error 1.21 % 등 전반적으로 우수했다. 특히 다중극을 사용한 경우가 monopole 대비 20 % 수준의 다중극만으로도 동일하거나 더 나은 정확도를 달성함을 확인했다. 또한, A‑VR 모델은 57 M 파라미터와 205 k 샘플 포인트로 높은 연산 비용을 요구했지만, NAMS은 훨씬 적은 자원으로 경쟁력을 확보했다. 시각화된 공간 마그니튜드 분포는 NAMS이 잡음이 적고 공간적 일관성을 유지함을 보여준다. 전체적으로 NAMS은 물리 기반 제약을 유지하면서도 딥러닝의 표현력을 활용해 실시간 RIR 합성에 적합한 새로운 패러다임을 제시한다.