시간‑주파수 도메인 오디오 인페인팅: 위상 인식 사전과 즉시 주파수 업데이트

초록

**
본 논문은 STFT 기반 스펙트로그램에서 손실된 열을 복원하기 위해 즉시 주파수(Instantaneous Frequency)를 이용한 위상‑인식 사전(iPCTV)을 적용하고, 이를 일반화된 Chambolle‑Pock 알고리즘으로 최적화한다. 제안 방법인 U‑PHAIN‑TF는 기존 Janssen‑TF와 Deep‑Prior 기반 인페인팅보다 객관적 지표와 주관적 청취 테스트에서 현저히 우수하며, 연산 비용도 크게 절감한다.

**

상세 분석

**
본 연구는 시간‑주파수(TF) 영역에서의 오디오 인페인팅 문제를 새로운 위상‑인식 사전과 효율적인 최적화 프레임워크를 통해 해결한다는 점에서 의미가 크다. 먼저 저자들은 STFT를 파서발(Parseval) 타이트 프레임으로 정의하고, 스펙트로그램의 결함을 나타내는 이진 마스크 M을 도입한다. 기존 ℓ₁ 기반 희소성 최소화는 에너지 손실(중심부 진폭 감소)과 위상 연속성 부족이라는 두 가지 근본적인 한계를 가지고 있었으며, 이는 특히 긴 결함 구간에서 청감 품질을 크게 저하시킨다.

이를 보완하기 위해 즉시 주파수(Instantaneous Frequency, IF)를 각 TF 셀에 추정하고, 그 값을 이용해 위상 보정 연산 R_{ω}를 적용한다. 위상 보정은 각 주파수 행에 대해 시간축으로의 위상 회전을 역으로 수행함으로써, 순수한 정현파 성분이 시간에 따라 일정한 복소값을 갖도록 만든다. 이후 시간 방향 차분 연산 D를 적용해 보정된 스펙트로그램의 총 변동(Total Variation)을 ℓ₁ 노름으로 정규화한다. 즉, iPCTV = ‖D R_{ω} G_g x‖₁ 은 정현파 성분은 최소화하고, 급격히 변하는 잡음 성분은 억제한다는 물리적 의미를 가진다.

최적화 문제는
 min_x λ‖D R_{ω} G_g x‖₁ + ι_{Γ_TF}(G_g x)
형태로 정형화되며, 여기서 ι_{Γ_TF}는 관측된 스펙트로그램과 일치하도록 마스크된 영역을 고정하는 지시 함수이다. 이 문제는 두 개의 선형 연산자 K=G_g와 L=D R_{ω} G_g를 포함하므로, 일반화된 Chambolle‑Pock 알고리즘(GCPA)을 적용한다. GCPA는 원시 함수와 그 쌍대 함수의 근접 연산자를 각각 빠르게 계산할 수 있게 해 주며, 특히 Moreau 항등식을 이용해 ι_{Γ_TF}의 근접 연산자를 단순한 마스크 기반 투영으로 구현한다.

U‑PHAIN‑TF는 외부 루프에서 IF를 반복적으로 업데이트한다. 초기 IF는 손상된 신호에서 추정하고, 내부 GCPA 루프가 한 번 수행된 뒤 현재 복원된 신호에 대해 다시 IF를 재계산한다. 이 과정은 “업데이트된 IF”라는 이름 그대로, IF 추정이 점진적으로 개선되면서 위상 보정이 점점 더 정확해지는 순환 구조를 만든다. 알고리즘은 수렴 기준 ε와 최대 반복 횟수 J, I를 설정해 실시간 처리에 적합하도록 조정 가능하다.

실험에서는 두 가지 벤치마크, 즉 최근 제안된 Janssen‑TF와 Deep‑Prior 기반 DP‑AI와 비교하였다. 객관적 평가에서는 PESQ, STOI, SDR 등 여러 지표에서 U‑PHAIN‑TF가 평균 1.2 dB 이상의 SDR 향상을 보였으며, 주관적 MUSHRA 테스트에서도 청취자들이 가장 높은 점수를 부여했다. 연산 측면에서는 GCPA가 단순한 프라임스텝 연산과 FFT 기반 STFT/ISTFT만을 사용하므로, GPU 없이도 CPU 단일 코어에서 실시간 수준(≈30 ms/초)으로 처리할 수 있었다. 반면 DP‑AI는 수백 배의 연산 시간을 요구했고, Janssen‑TF는 복잡한 자기 회귀 모델 때문에 메모리 사용량이 크게 늘어났다.

결론적으로, 본 논문은 즉시 주파수 기반 위상 보정과 총 변동 정규화를 결합한 iPCTV 사전이 TF 도메인 인페인팅에 매우 효과적임을 입증한다. 또한 GCPA를 통한 효율적인 프라임스텝 최적화는 높은 복원 품질을 유지하면서도 계산 비용을 크게 낮출 수 있음을 보여준다. 향후 연구에서는 다중 채널(스테레오·멀티채널) 확장, 비정형 결함(임의 마스크) 처리, 그리고 실시간 스트리밍 환경에서의 적응형 파라미터 튜닝 등을 탐색할 여지가 있다.

**