역방향 잠재 필드로 사전계산 음향 전파 압축

초록

본 논문은 게임 및 가상현실 환경에서 실시간 음향 전파를 구현하기 위해, 파동 기반 시뮬레이션 결과를 메모리 효율적인 “역방향 잠재 필드(Reciprocal Latent Fields, RLF)” 형태로 압축·예측하는 방법을 제안한다. 3차원 격자에 학습 가능한 잠재 임베딩을 배치하고, 대칭적인 디코더를 통해 소스와 리시버 임베딩 간 거리(또는 지오데식)를 계산함으로써 물리적 reciprocity를 보장한다. 특히 Riemannian 메트릭 학습을 적용한 디코더가 복잡한 장면에서의 회절·반향 현상을 높은 정확도로 재현한다. 실험 결과, 기존 파동 코딩 방식 대비 메모리 사용량을 수십 배에서 수천 배까지 감소시키면서도 주관 청취 테스트에서 차이를 감지하지 못할 정도의 음질을 유지한다.

상세 분석

이 연구는 실시간 게임 오디오 파이프라인에서 가장 큰 병목 중 하나인 “소스‑리시버 쌍마다의 파라미터 저장” 문제를 근본적으로 재구성한다. 기존 파동 코딩 방식은 사전 시뮬레이션을 통해 얻은 충격 응답(IR)에서 직접 추출한 거리, 직접음 레벨, 초기·후반 반향 레벨, 감쇠 시간, 도착 방향 등 여러 스칼라 파라미터를 격자 형태로 저장한다. 그러나 이러한 파라미터는 소스와 리시버의 조합이 늘어날수록 선형적으로 메모리가 증가해 대규모 맵에서는 실용적이지 않다.

RLF는 이 문제를 “잠재 공간에 매핑 → 거리(또는 메트릭) 계산”이라는 두 단계로 분리한다. 3‑D 격자 각 셀에 n‑차원 잠재 벡터 θ를 할당하고, 삼선형 보간을 통해 임의 위치 a와 b에 대한 임베딩 fθ(a), fθ(b)를 얻는다. 여기서 핵심은 디코더 h가 대칭 함수이므로 h(fθ(a), fθ(b)) = h(fθ(b), fθ(a))가 자동으로 성립해 물리적 reciprocity(π(a,b)=π(b,a))를 보장한다는 점이다.

두 가지 디코더 설계가 제안된다. 첫 번째는 단순 유클리드 거리 hEUC(x,y)=‖x−y‖₂이다. 이는 구현이 간단하고 연산 비용이 낮지만, 복잡한 장애물 주변에서 경로 제약이 과도하게 겹쳐 잠재 공간이 왜곡되어 오차가 급증한다. 이를 보완하기 위해 두 번째로 도입된 Riemannian 디코더는 위치마다 다른 양의 정부호 메트릭 텐서 G(x)를 학습한다. 거리 정의는 dG(x,y)=infγ∫₀¹ γ̇(t)ᵀG(γ(t))γ̇(t)dt 로, 최단 지오데식을 찾아 실제 파동 전파 경로와 유사한 비선형 변환을 허용한다. 이 접근법은 “전역적인 유클리드 제약”을 완화하고, 지역별로 공간을 확장·수축시켜 복잡한 회절·반사 패턴을 정확히 모델링한다.

학습은 실제 파동 시뮬레이션(PFFDTD)으로부터 얻은 ‘진짜’ 경로 거리 π(a,b)를 목표로 MSE 손실을 최소화한다. 또한, 가시성 검사를 통해 벽을 관통하는 보간을 차단함으로써 물리적 차단 현상을 유지한다. 실험에서는 잠재 차원 n을 816으로 제한했음에도 불구하고, Riemannian RLF는 평균 상대 오차를 3% 이하로 낮추었으며, 메모리 사용량은 기존 파라미터 그리드(수백 GB) 대비 0.10.5 GB 수준으로 감소했다.

음향 파라미터 전반(거리 외)에도 동일한 프레임워크를 적용했으며, 비메트릭 양(에너지 레벨, 감쇠 시간 등)은 별도의 경량 디코더(선형 혹은 MLP)로 추정해 실시간 렌더링 파이프라인에 통합했다. 주관 청취 테스트(MUSHRA‑like)에서는 평균 점수가 98.2%에 달해, 청취자들이 원본 파동 코딩 결과와 차이를 구별하지 못함을 확인했다.

이 논문의 주요 기여는 (1) 물리적 reciprocity를 수학적으로 보장하는 잠재 필드 모델링, (2) Riemannian 메트릭 학습을 통한 고차원 비선형 거리 표현, (3) 메모리·연산 효율성을 크게 개선하면서도 음향 품질을 유지하는 실증적 검증이다. 향후 연구는 동적 장면(변형 가능한 지오메트리)이나 다중 반사 경로(다중 메트릭)까지 확장하는 방향으로 진행될 수 있다.