신경망 기반 음악 오디오 인페인팅: 64ms 결손 복원

초록

본 논문은 10~100 ms 정도의 짧은 구간이 손실된 음악 및 악기 소리를, 주변 컨텍스트를 이용해 복원하는 딥러닝 기반 오디오 인페인팅 방법을 제안한다. 시간‑주파수(STFT) 계수를 입력으로 하는 컨텍스트 인코더(Encoder‑Decoder) 구조를 설계하고, 복원된 magnitude에 위상 재구성을 결합해 최종 파형을 생성한다. 동일한 조건의 선형예측(LPC) 방법과 비교했을 때, 음악 데이터에서 유의미하게 높은 객관·주관 평가 점수를 얻으며, 악기 소리에서도 경쟁력 있는 성능을 보인다.

상세 분석

이 연구는 “오디오 인페인팅”이라는 문제를 딥러닝으로 접근한 최초 사례 중 하나로, 특히 64 ms라는 비교적 긴 결손 구간을 대상으로 한다는 점에서 의미가 크다. 기존 방법은 (a) 10 ms 이하의 초단시간 결손을 선형예측이나 희소성 기반 OMP 등으로 복원하거나, (b) 수백 ms 이상을 전역적인 자기유사성(Exemplar) 기법으로 메꾸는 두 축으로 나뉘었다. 그러나 10~100 ms 구간은 비정상성이 급격히 나타나는 영역이면서도 샘플‑단위 예측이 아직 가능할 정도의 정보를 제공한다. 이를 위해 저자들은 이미지 복원에 사용된 “컨텍스트 인코더(Context Encoder)” 개념을 차용, 오디오에 맞게 변형하였다.

입력 전처리는 STFT(길이 M=512, hop = M/4, Hann 윈도우)로 시간‑주파수 매트릭스를 만든 뒤, 실수·허수 파트를 각각 채널로 분리해 4‑채널 텐서를 만든다. 이렇게 만든 컨텍스트(결손 전후 𝑳𝒄 샘플)와 결손 구간을 동시에 네트워크에 제공함으로써, 네트워크는 주변 스펙트럼 패턴을 학습해 결손 구간의 magnitude를 예측한다.

네트워크 구조는 인코더와 디코더로 구성된다. 인코더는 6개의 2‑D 컨볼루션 레이어와 ReLU, 배치 정규화를 차례로 적용해 2048 차원의 잠재 표현을 만든다. 디코더는 완전 연결층(FCL)으로 차원을 확장한 뒤, 5개의 디컨볼루션(전치 컨볼루션) 레이어를 통해 결손 구간에 대응하는 magnitude 스펙트럼(257 × 11)을 출력한다. 위상은 별도로 복원되는데, 먼저 Phase Gradient Heap Integration을 적용해 초기 위상을 얻고, 이후 100회 반복된 Griffin‑Lim 알고리즘으로 정교화한다.

손실 함수는 단순 MSE가 에너지에 민감한 문제를 보완하기 위해, 정규화 MSE(NMSE)와 가중 평균을 취한 형태 F = ‖S_g‑Ŝ_g‖² c⁻¹ + ‖S_g‖² (c=5) 로 정의하고, L2 정규화 항을 추가했다. 이는 작은 에너지 구간에서도 과도한 오류 확대를 방지한다. 학습은 TensorFlow 기반 ADAM 옵티마이저로 진행했으며, 드롭아웃·스킵 연결은 성능 향상이 없어 제외하였다.

평가에서는 동일한 64 ms 결손을 가진 음악과 악기 샘플에 대해, 제안 모델과 LPC(선형예측 코딩) 기반 베이스라인을 비교했다. 객관적인 신호‑대‑신호(SNR, LSD)와 주관적인 청취 테스트 모두에서, 특히 복잡한 음악 트랙에서 DNN이 현저히 높은 점수를 기록했다. 악기 소리에서는 LPC이 어느 정도 경쟁력을 보였지만, DNN이 전반적으로 더 일관된 복원을 제공했다. 또한 결손 길이를 32 ms에서 128 ms까지 변화시켰을 때, DNN의 성능 저하가 LPC보다 완만함을 확인했다.

한계점으로는 위상 복원 단계가 별도 알고리즘에 의존한다는 점, 그리고 현재는 magnitude만을 예측하므로 위상 오류가 청취 품질에 미치는 영향을 완전히 억제하지 못한다는 점을 들 수 있다. 또한, 훈련 데이터가 음악·악기 별로 구분되어 있어, 다중 장르·다양한 악기를 동시에 다루는 일반화 모델 구축에는 추가 연구가 필요하다.

전반적으로 이 논문은 오디오 인페인팅에 컨텍스트 기반 딥러닝을 성공적으로 적용했으며, 특히 10~100 ms 구간이라는 실용적인 손실 상황에 대해 기존 신호 처리 기법을 능가하는 결과를 제시한다. 향후 실시간 적용, 위상‑통합 네트워크 설계, 그리고 다양한 오디오 도메인으로의 확장이 기대된다.