연속 방 임펄스 응답 재구성을 위한 좌표 기반 트랜스포머 RIRFormer

초록

RIRFormer는 마이크 위치 정보를 사인형 인코딩으로 변환해 트랜스포머에 입력하고, 시간축을 여러 구간으로 나눈 다중 디코더를 통해 초기 반사와 후기 잔향을 각각 복원한다. 실험 결과, 기존 PINN, DiffusionRIR, cubic spline 등과 비교해 NMSE와 Cosine Distance 모두 우수한 성능을 보이며, 임의 배열에서도 높은 일반화 능력을 입증한다.

상세 분석

본 논문은 방 임펄스 응답(RIR) 재구성 문제를 “그리드 프리” 방식으로 해결하고자 하는 시도이다. 기존 방법들은 주로 정규 격자 기반 이미지 인페인팅이나 물리 기반 모델링에 의존해 마이크 배열이 균일하거나 사전 정의된 경우에만 적용 가능했으며, 복잡한 방 구조나 비정형 배열에서는 성능이 급격히 저하되는 한계가 있었다. RIRFormer는 이러한 제약을 없애기 위해 두 가지 핵심 설계를 도입한다.

첫째, 마이크 위치를 고차원 주기 함수로 매핑하는 사인형 위치 인코딩을 사용한다. 이는 저차원 좌표를 다중 주파수 성분을 가진 토큰으로 변환해, 트랜스포머가 전역적인 공간 관계를 학습하도록 돕는다. 기존 좌표를 그대로 입력했을 때 발생하는 스케일 민감도와 일반화 문제를 크게 완화한다.

둘째, RIR을 시간축에 따라 다중 구간(세그먼트)으로 분할하고, 각 구간마다 별도의 디코더(MLP) 브랜치를 두는 세그먼트형 다중 브랜치 디코더를 설계했다. 초기 직진음, 초기 반사, 후기 잔향 등 서로 다른 통계적 특성을 갖는 구간을 독립적으로 학습함으로써 전체 파형의 재구성 정확도가 향상된다. 특히 후기 잔향은 에너지 분포가 넓고 잡음에 취약한데, 전용 브랜치를 두어 정밀하게 복원한다.

트랜스포머 인코더는 입력 토큰(위치 인코딩 + RIR 특징) 전체에 셀프 어텐션을 적용해 전역적인 상관관계를 모델링한다. 이는 마이크 간의 상호 작용을 학습해, 관측된 RIR이 없는 위치에서도 정확한 예측을 가능하게 한다. 또한, 마스크 비율을 점진적으로 증가시키는 마스킹 스케줄링을 도입해 학습 초기에 충분한 정보가 제공되고, 이후에는 모델이 전역 정보를 활용하도록 유도한다.

실험 설계는 두 가지 시나리오(정규 배열 + 고정 소스, 랜덤 배열 + 랜덤 소스)와 다양한 누락률(10 % ~ 90 %)을 포함한다. 8 000개의 shoebox 방을 Monte Carlo 방식으로 시뮬레이션해 훈련·평가 데이터를 생성했으며, NMSE와 Cosine Distance 두 지표 모두에서 기존 최첨단 방법(PINN, DiffusionRIR, Cubic Spline)보다 일관되게 우수한 결과를 보였다. 특히 누락률이 80 % 이상일 때도 NMSE ≈ ‑5 dB, CD < 0.2를 유지해, 매우 희소한 측정 환경에서도 강인함을 입증한다.

추가적으로, RIRFormer는 단일 전방향 패스로 추론이 가능해 실시간 혹은 저지연 응용에 적합하며, GPU 기반 추론 시간도 경쟁 모델보다 현저히 짧다. 모델 크기도 비교적 경량(Transformer + MLP ≈ 10 M 파라미터)이라 실무 배포가 용이하다.

전체적으로, 본 연구는 위치 정보를 효과적으로 인코딩하고, 시간적 특성을 구분해 복원하는 두 축의 혁신을 통해 RIR 재구성 분야에서 기존 한계를 뛰어넘는 접근법을 제시한다. 향후 복잡한 3‑D 배열, 동적 음향 장면, 실제 측정 데이터에 대한 확장 연구가 기대된다.