360° 영상용 단일채널 오디오의 자동 공간음향 변환

초록

본 논문은 360° 영상에 동반된 단일채널(모노) 오디오를 입력으로, 영상의 시각 정보와 결합한 자기지도 학습(self‑supervised) 방식을 통해 1차 앰비소닉스(FoA) 형태의 공간음향을 자동으로 생성하는 시스템을 제안한다. 네트워크는 소스 분리와 위치 추정을 별도 모듈로 분리하고, 실제 공간음향이 포함된 데이터셋을 이용해 모노와 정답 앰비소닉스 간의 차이를 최소화한다. 두 개의 360° 영상 데이터셋(자체 촬영 및 YouTube 수집)에서 실험한 결과, 제안 방법이 기존 베이스라인보다 높은 위치 정확도와 음향 재현 품질을 보임을 확인하였다.

상세 분석

본 연구는 360° 영상 콘텐츠에서 흔히 발생하는 ‘모노 오디오만 존재하고 공간음향 마이크는 부재함’이라는 문제를 해결하고자 한다. 핵심 아이디어는 ‘모노 오디오는 제로차 앰비소닉스와 동일한 정보’를 담고 있다고 가정하고, 누락된 1차 차원(φₓ, φ_y, φ_z)을 영상‑오디오 멀티모달 컨텍스트를 활용해 예측하는 것이다. 이를 위해 네트워크는 네 개의 블록으로 구성된다.

1. 분석 블록에서는 25 ms 윈도우 STFT를 수행한 후 2‑D CNN을 통해 고수준 오디오 특징을 추출하고, ResNet‑18 기반의 두 스트림(RGB와 FlowNet2 기반 광류) 비디오 특징을 동시에 추출한다. 시간 해상도가 다른 두 모달리티는 최근접 보간을 통해 동기화하고, 각각 1024·512 차원의 벡터로 압축된 뒤 결합된다.

2. 소스 분리 블록은 U‑Net 디코더 구조를 채택한다. 최하위 레이어에 멀티모달 특징을 concatenate 함으로써 시각적 단서가 주파수‑시간 마스크 a_i(t,ω)를 학습하도록 유도한다. 마스크는 시그모이드 활성화 후 입력 STFT와 원소곱을 수행해 k개의 추정된 소스 스펙트로그램 Φ_i를 만든다. 역 STFT와 overlap‑add을 통해 시간 도메인 파형 f_i(t)를 복원한다.

3. 위치 추정 블록은 각 소스에 대해 전역 Fully‑Connected 레이어를 적용해 3차원 가중치 w_i(t) = (w_ix, w_iy, w_iz)를 출력한다. 이 가중치는 실제 1차 실수 구면조화 함수 y_N(θ_i)와 동일한 형태로 해석될 수 있어, 소스가 존재하는 방향을 암시한다.

4. 앰비소닉스 생성 블록은 φ(t) = Σ_i w_i(t)·f_i(t) 로 간단히 구현된다. 즉, 기존 모노 신호에 추정된 방향 가중치를 곱해 1차 앰비소닉스 채널을 재구성한다.

학습은 ‘자기지도’ 방식으로 진행된다. 원본 360° 영상에 포함된 정밀한 1차 앰비소닉스(4채널)를 ground‑truth 로 사용하고, 이를 모노(φ_w)로 다운믹스한 뒤 네트워크 입력으로 제공한다. 손실은 STFT 영역의 MSE(복소수 L2)와 함께, 파형 envelope 차이(ENV) 및 방향 에너지 맵 간 Earth Mover’s Distance(EMD)를 보조적으로 사용해 주파수와 위치 양쪽을 동시에 최적화한다.

데이터 측면에서 저자는 두 개의 데이터셋을 구축하였다. 첫 번째는 실내·실외에서 촬영한 제한된 도메인(‘REC‑STREET’)이며, 두 번째는 YouTube에서 크롤링한 360° 영상(‘YT‑ALL’)으로, 다양한 촬영 환경·소리 종류를 포함한다. 두 데이터셋 모두 모노와 정답 앰비소닉스 쌍을 제공해 자기지도 학습을 가능하게 한다.

실험 결과는 STFT MSE, ENV, EMD 세 지표 모두에서 제안 모델이 기존 U‑Net 기반 베이스라인보다 우수함을 보여준다. 특히 EMD(위치 정확도)에서 15~20% 개선을 기록했으며, 청취자 평가에서도 ‘공간감이 더 자연스럽다’는 주관적 점수를 얻었다. Ablation study에서는 (i) 시각 정보 제거 시 성능 급락, (ii) 소스 분리 마스크 없이 직접 위치 가중치만 학습했을 때도 품질이 저하되는 등, 각 모듈의 상호보완성을 입증한다.

한계점으로는 (1) 소스 수 k를 사전에 고정해야 하며, 실제 현장에서는 동적으로 변할 수 있다는 점, (2) 현재 1차 앰비소닉스만 지원해 고차(2차·3차) 공간음향 재현에는 확장이 필요하다는 점, (3) 영상에 명확한 시각적 단서가 없는 경우(예: 배경음, 멀리 있는 소리) 위치 추정이 부정확해지는 경향이 있다. 향후 연구에서는 동적 k 추정, 고차 앰비소닉스 확장, 그리고 음향‑시각 간의 어텐션 메커니즘 강화 등을 제안한다.

전반적으로 본 논문은 360° 영상 제작 파이프라인에 ‘오디오 공간화’를 저비용으로 삽입할 수 있는 실용적인 프레임워크를 제공하며, 멀티모달 자기지도 학습이 실제 물리적 마이크 배열 없이도 공간음향을 복원할 수 있음을 실증한다.