스파인: 희소성 기반 오디오 인페인팅 혁신

본 논문은 오디오 인페인팅을 위한 새로운 희소성 기반 알고리즘 SPAIN(SParse Audio INpainter)을 제안한다. SPAIN은 기존에 오디오 디클리핑에 성공적으로 적용된 SPADE 알고리즘을 인페인팅 문제에 맞게 변형한 것으로, 분석형(A‑SPAIN)과 합성형(S‑SPAIN) 두 가지 버전을 제공한다. 먼저, 인페인팅 문제를 수학적으로 정의한다. 손실 구간이 존재하는 신호 y에 대해, 복원된 신호 x는 신뢰 구간에서는 원본과 동일해야 하며, 손실 구간에서는 희소한 시간‑주파수 표현을 가져야 한다. 이를 두 개의 최적화 형태(분석형 (1a)와 합성형 (1b))로 표현하고, 각각의 제약을 집합 Γ와 k‑스파스 제약으로 나타낸다. 해결 방법으로 ADMM(Alternating Direction Method of Multipliers)을 채택한다. 분석형 A‑SPAIN은 SPADE의 분석 버전(A‑SPADE)과 동일한 구조를 갖으며, 하드 스레시홀딩 연산 H_k를 통해 현재 스파스 레벨 k 에서 가장 큰 k 개 계수를 남긴다. 이 과정은 ADMM의 z‑업데이트 단계에 해당하고, x‑업데이트 단계에서는 신뢰 구간 제약을 만족하도록 시간 영역에서 간단히 투영한다. 알고리즘은 k 를 점진적으로 증가시키며, k·A x−z‖₂ ≤ ε 가 만족될 때까지 반복한다. 합성형 S‑SPAIN은 기존 SPADE 합성 버전이 비대칭적으로 설계된 점을 보완한다. 일반적인 ADMM 형태 (3)–(5)를 기반으로, f(z)=ι_{0≤k}(z)와 g(x)=ι_Γ(x)를 정의한다. 비볼록성에도 불구하고 실험적으로 수렴이 확인되었다. S‑SPAIN의 핵심은 (6a)와 (6b) 서브문제이며, (6a)에서는 k‑스파스 제약을 만족하는 z 를 찾는다. 정확한 해를 구하기 어려워 두 가지 근사법을 제시한다. 첫 번째는 하드 스레시홀딩을 이용한 간단한 근사(H_k(D^*(x−u)))이며, 두 번째는 k 단계 OMP(Orthogonal Matching Pursuit)를 적용한다. 실험 결과, 하드 스레시홀딩 버전(S‑SPAIN‑H)이 OMP 버전(S‑SPAIN‑OMP)보다 평균적으로 더 높은 SNR을 제공하고, 계산 비용도 크게 낮았다. 실험은 10개의 음악 신호(16 kHz 및 44.1 kHz)에서 무작위로 5 ms~50 ms 길이의 6개 구간을 삭제한 뒤 복원하는 방식으로 진행되었다. 비교 대상은 Janssen AR 기반 알고리즘, OMP, 그리고 분석·합성 L1‑relaxation 방법이다. 모든 알고리즘은 동일한 STFT 파라미터(64 ms Hann 창, 16 ms 시프트)와 오버랩‑어드 방식을 사용하였다. SNR 평가 결과, 40 ms 이하의 짧은 구간에서는 Janssen과 A‑SPAIN이 거의 동일한 성능을 보였으며, 45 ms 이상에서는 Janssen의 성능이 급격히 저하되는 반면 SPAIN은 안정적인 복원을 유지했다. 합성형 S‑SPAIN은 짧은 구간에서는 A‑SPAIN과 비슷하거나 약간 뒤처지지만, 긴 구간에서도 OMP 및 L1‑relaxation 기반 방법들을 모두 앞섰다. 통계적 분석(bootstrap 95 % 신뢰구간, Wilcoxon signed‑rank test)에서도 SPAIN이 L1‑방법보다 유의미하게 우수함이 확인되었다. 청각적 품질을 평가하기 위해 PEMO‑Q의 ODG(Objective Difference Grade)를 사용한 추가 실험을 수행하였다. 20 ms~50 ms 구간에 대해 A‑SPAIN, S‑SPAIN‑H, Janssen을 비교했으며, 특히 30 ms·40 ms·50 ms 구간에서 A‑SPAIN이 Janssen보다 높은 ODG를 기록, 인간 청각 인식 측면에서도 SPAIN이 경쟁력을 갖춤을 보여준다. 결론적으로, SPAIN은 희소성 기반 오디오 인페인팅에서 분석·합성 프레임워크를 명확히 구분하고, ADMM을 통한 효율적인 구현을 제공한다. 하드 스레시홀딩이 복잡한 OMP보다 실제 성능과 계산 효율 모두에서 우수함을 실증함으로써, 실시간 혹은 저전력 환경에서도 적용 가능한 알고리즘 설계 방향을 제시한다. 향후 연구에서는 다양한 프레임워크(예: 비정형 변환, 딥러닝 기반 사전)와의 결합, 그리고 실시간 구현을 위한 최적화가 기대된다.