미분 가능한 그룹 피드백 딜레이 네트워크로 구현하는 다중 기울기 실시간 방음향

초록

본 논문은 측정된 제한된 RIR 데이터를 이용해 다중 기울기 감쇠 특성을 가진 결합형 실내 공간의 늦은 잔향을 학습하고, 위치 변화에 따라 실시간으로 파라미터를 업데이트할 수 있는 차별화된 그룹 피드백 딜레이 네트워크(DiffGFDN)를 제안한다. 주파수 독립적인 파라미터와 공간 의존적인 소스·리시버 필터를 MLP로 매핑함으로써 미측정 위치에서도 높은 정확도로 RIR을 보간한다. 실험 결과, 기존 Common Slopes 모델 대비 EDR 오차는 개선되고, 연산량은 10배 이상 감소하였다.

상세 분석

DiffGFDN은 기존 GFDN 구조에 미분 가능성을 부여함으로써, 손실 함수 기반의 자동 미세조정을 가능하게 만든다. 핵심 아이디어는 네트워크 파라미터를 크게 두 종류로 구분하는 것이다. 첫 번째는 위치에 무관한 고정 파라미터로, 지연선 길이(m), 흡수 필터(γ), 입력·출력 스칼라 게인(b, c) 및 유니터리 피드백 매트릭스(A)를 포함한다. 이들은 방의 물리적 특성을 직접 반영하며, 학습 과정에서 전체 데이터셋에 대해 전역적으로 최적화된다. 두 번째는 위치 의존 파라미터인 소스 필터(g_i)와 리시버 필터(g_o)이다. 논문에서는 3차원 좌표(x, y, z)를 입력으로 하는 다층 퍼셉트론(MLP)을 사용해 이 두 필터를 예측한다. 이렇게 하면 학습된 모델이 새로운 소스·리시버 위치에 대해 즉시 파라미터를 생성할 수 있어, 실시간 XR 환경에서 움직이는 청취자와 발화자를 지원한다.

GFDN의 구조적 특징은 그룹별로 서로 다른 감쇠 시간을 갖는 지연선 집합을 두고, 그룹 간 결합 정도를 피드백 매트릭스 A의 블록 구조로 제어한다. 블록 대각선 형태는 각 그룹이 독립적인 모드 집합을 유지하도록 하여, 다중 기울기 감쇠를 자연스럽게 구현한다. 반면, 블록 비대각선(강한 결합) 경우 새로운 모드와 복합 감쇠 특성이 발생해 Common Slopes 모델의 가정과 어긋난다. 논문은 이러한 구조적 선택이 실제 커플드 룸(큰 개구부를 가진 경우)에서 저주파 영역의 복합 모드 형성을 설명한다는 점을 강조한다.

학습 목표는 에너지 감쇠 곡선(EDC)과 에너지 감쇠 완화(EDR) 두 지표를 최소화하는 것이며, 손실 함수는 각 옥타브 밴드별 EDC 차이와 전체 EDR 차이를 가중합한다. 미분 가능한 형태의 지연선과 흡수 필터는 역전파 과정에서 연산 비용이 거의 없으며, MLP가 생성하는 위치 의존 필터만이 매 프레임마다 업데이트된다. 따라서 실시간 추론 시 FLOP 수는 기존 CS 모델이 요구하는 수백 개의 모드 필터링에 비해 10배 이하로 감소한다. 메모리 측면에서도 DiffGFDN은 고정된 지연선 길이와 피드백 매트릭스만 저장하면 되므로, 대규모 RIR 데이터베이스를 저장할 필요가 없다.

실험에서는 세 개의 커플드 룸(각각 23개의 서브룸)에서 측정된 RIR을 학습·검증에 사용하였다. 학습 데이터 양을 10%, 30%, 100%로 변동시켰을 때, DiffGFDN은 특히 데이터가 제한된 상황에서 EDR 오차가 CS 모델보다 1520% 낮게 유지되었다. 옥타브 밴드별 EDC 오차는 약간 악화되었지만, 인간 청감 감도 기준에서는 차이가 감지되지 않을 정도였다. 또한, FLOP 측정 결과는 1초당 약 0.8 MFLOP(DiffGFDN) 대비 9 MFLOP(CS)로, 모바일 XR 디바이스에서도 충분히 실시간 처리 가능함을 보여준다.

한계점으로는 현재 구현이 주파수 독립적인 파라미터에만 적용돼, 고주파 영역에서의 세밀한 흡수 특성을 완전히 재현하지 못한다는 점이다. 또한, MLP가 복잡한 공간 변화를 학습하기 위해서는 충분한 측정 포인트가 필요하며, 매우 큰 공간에서는 일반화 성능이 감소할 가능성이 있다. 향후 연구에서는 주파수 의존적인 피드백 매트릭스와 다중 스케일 MLP를 도입해 고주파 흡수와 저주파 결합 모드를 동시에 모델링하는 방안을 제시한다.

요약하면, DiffGFDN은 GFDN의 구조적 효율성과 딥러닝 기반 파라미터 최적화를 결합해, 다중 기울기 감쇠를 갖는 복합 실내 공간의 실시간 잔향 렌더링을 메모리·연산 측면에서 크게 개선한 새로운 프레임워크이다.