주파수 영역 특성 모델링을 활용한 HRTF 크기 업샘플링

초록

본 논문은 희소하게 측정된 개인 HRTF 데이터를 다중 피험자 데이터와 결합해 주파수 축의 연속성 및 장거리 상관성을 명시적으로 모델링한다. 다양한 아키텍처 실험을 통해 주파수 도메인 컨볼루션·확장·어텐션이 성능을 향상시킴을 확인하고, 최종적으로 Conformer 기반 FD‑Conformer를 제안한다. SONICOM·HUTUBS 데이터셋에서 ILD와 로그 스펙트럼 왜곡(LSD) 기준 최첨단 결과를 달성하였다.

상세 분석

이 연구는 HRTF(Head‑Related Transfer Function) 업샘플링 문제를 “희소 측정 → 고밀도 전방향” 변환으로 정의하고, 기존 방법이 주로 공간(방향) 관계에만 초점을 맞추어 주파수 축의 구조적 정보를 충분히 활용하지 못한다는 점을 지적한다. 전통적인 거리 가중 보간·구면 조화 기반 기법은 공간 샘플링 정리에 의해 측정 수가 적을 때 급격히 성능이 저하되며, 다중 피험자 학습 기반 모델도 입력으로 방향 좌표를 제공하고 각 주파수 대역을 독립적으로 처리한다. 그러나 HRTF 로그‑스펙트럼은 피냐 공명, 노치 등 복합적인 주파수 패턴을 포함하고, 인접 주파수뿐 아니라 멀리 떨어진 대역 간에도 강한 상관관계가 존재한다(그림 2의 피어슨 상관행렬). 이러한 특성을 활용하면 희소 측정에서도 주파수 차원을 통한 보강이 가능하다.

논문은 먼저 설계 공간을 정의한다. (1) 주파수별 MLP는 가장 단순한 형태로, 각 주파수 대역을 독립적으로 매핑한다. (2) 1‑D 컨볼루션은 인접 주파수 간 로컬 연속성을 포착하고, 커널 크기·스트라이드·다이레이트(dilation)를 조절해 수용 영역을 확대한다. (3) 다이레이트 컨볼루션은 동일 파라미터로 넓은 주파수 범위의 장거리 의존성을 학습한다. (4) 어텐션 기반 모델은 모든 주파수 쌍 간의 전역 상관을 직접 모델링한다. 실험 결과, 모든 변형에서 “주파수 도메인 모델링”이 기존 좌표‑조건 신경망보다 일관되게 LSD와 ILD 오차를 감소시켰으며, 특히 측정 방향이 5% 이하로 극도로 희소할 때 그 차이가 두드러졌다.

이러한 관찰을 바탕으로 저자들은 Conformer 블록을 차용한 FD‑Conformer를 설계한다. Conformer는 Feed‑Forward Network(FFN)·Multi‑Head Self‑Attention(MHSA)·Depth‑wise Convolution을 순차적으로 결합해 로컬(컨볼루션)과 글로벌(어텐션) 특성을 동시에 학습한다. 입력은 M개의 측정 방향·양쪽 귀·F개의 주파수로 구성된 텐서이며, 먼저 “스펙트럴 바이노럴 표현”(좌·우 귀 크기와 차이) 3M 차원 피처를 만든 뒤, 선형 투영·주파수 위치 인코딩을 거쳐 F×C 형태의 잠재 스펙트럼으로 변환한다. N개의 Conformer 블록을 통과하면서 각 주파수 대역의 특성이 점진적으로 정제되고, 최종적으로 방향 확장 헤드를 통해 D개의 전방향 HRTF 로그‑스펙트럼을 출력한다.

실험은 두 개의 공개 데이터셋(SONICOM, HUTUBS)에서 2‑fold 교차 검증을 수행했으며, 비교 대상은 (i) 전통적 거리‑가중 보간, (ii) 구면 조화 기반 기저 전개, (iii) 기존 좌표‑조건 CNN·Graph‑NN·RANF 등 최신 학습 기반 모델이다. 평가 지표는 ILD 평균 절대 오차와 로그‑스펙트럼 왜곡(LSD)이며, FD‑Conformer는 ILD 1.2 dB 이하, LSD 1.8 dB 이하의 성능을 기록해 모든 베이스라인을 크게 앞섰다. 특히 10° 이하의 희소 샘플링 상황에서 기존 모델이 3–4 dB 정도 오차를 보이는 반면, 제안 모델은 1.5 dB 수준으로 유지했다.

핵심 기여는 다음과 같다. ① HRTF 로그‑스펙트럼의 주파수 축 상관성을 정량적으로 분석하고, 이를 모델링하는 설계 공간을 제시하였다. ② Conformer 기반 FD‑Conformer를 도입해 로컬·글로벌 주파수 구조를 동시에 학습함으로써 희소 측정에서도 높은 복원 정확도를 달성했다. ③ 공개 데이터와 코드(깃허브)를 제공해 재현성을 확보하고, 향후 개인화된 공간 오디오 파이프라인에 주파수‑중심 모델링이 필수적임을 입증하였다.