음성 향상을 위한 전역 최적화 FCN 프레임워크와 STOI 직접 최적화

초록

본 논문은 완전합성곱신경망(FCN)을 이용해 전체 발화 단위로 음성 향상 모델을 학습하고, 평가 지표인 STOI를 직접 손실 함수에 포함시켜 모델 최적화와 평가 기준의 불일치를 해소한다. 실험 결과, STOI 기반 최적화가 기존 MMSE 기반 모델보다 향상된 청취 intelligibility와 ASR 성능을 제공함을 확인하였다.

상세 분석

이 연구는 음성 향상 분야에서 가장 흔히 발생하는 “학습 목표와 평가 지표의 불일치” 문제를 근본적으로 해결하고자 한다. 전통적인 접근법은 프레임 단위의 최소 평균 제곱오차(MMSE)를 최소화하는 것이었으며, 이는 신호 재구성 측면에서는 효과적일 수 있으나 인간 청취자나 자동 음성 인식(ASR) 시스템이 실제로 중요하게 여기는 지각적 특성을 충분히 반영하지 못한다. 특히, STOI와 같은 지각 기반 intelligibility 측정은 시간적 연관성을 고려한 장기적인 특성을 포함하고 있기 때문에, 프레임 단위 손실과는 근본적인 차이가 있다.

논문은 이러한 차이를 메우기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 입력과 출력 모두를 전체 발화(utterance) 단위로 처리하는 완전합성곱신경망(FCN) 구조를 채택한다. FCN은 풀링이나 패딩 없이 순수히 컨볼루션 연산만으로 입력 길이를 유지하면서 깊은 비선형 변환을 수행한다. 이로써 모델은 발화 전체에 걸친 시간적 상관관계를 학습할 수 있으며, 긴 컨텍스트 정보를 활용해 잡음 억제와 신호 보존 사이의 균형을 보다 정교하게 조절한다.

둘째, 손실 함수에 STOI를 직접 삽입한다. STOI는 일반적으로 평가 단계에서만 사용되는 비선형 함수이지만, 저자들은 이를 미분 가능하도록 근사화하거나 자동 미분 프레임워크 내에서 직접 계산함으로써 역전파가 가능하도록 설계하였다. 이렇게 하면 학습 과정에서 모델 파라미터가 STOI를 직접 최적화하도록 유도되어, 최종 출력이 평가 지표와 일치하는 방향으로 수렴한다.

실험 설계는 두 가지 주요 축을 중심으로 진행된다. 첫째, 동일한 데이터셋(예: WSJ0, CHiME)과 잡음 조건에서 MMSE 기반 모델과 STOI 기반 모델을 비교한다. 둘째, 객관적 지표(STOI, PESQ)뿐 아니라 주관적 청취 테스트와 ASR Word Error Rate(WER)를 통해 실제 사용 환경에서의 효과를 검증한다. 결과는 STOI 기반 모델이 객관적 STOI 점수에서 평균 0.020.04 포인트 상승을 보였으며, 주관적 청취 intelligibility에서도 통계적으로 유의미한 향상을 나타냈다. 특히, ASR 실험에서는 WER이 58% 감소하는 등 실용적인 이점이 확인되었다.

이러한 성과는 몇 가지 중요한 시사점을 제공한다. 첫째, 손실 함수와 평가 지표를 일치시키는 것이 모델 성능 향상에 직접적인 영향을 미친다. 둘째, FCN 기반의 발화 단위 처리 방식은 기존 프레임 기반 RNN이나 CNN보다 메모리 효율성이 높으며, 병렬 연산에 유리해 실시간 적용 가능성을 높인다. 셋째, STOI와 같은 비선형 지각 지표를 미분 가능하게 만드는 기술은 향후 다른 지표(예: SI-SDR, PESQ)에도 확장될 수 있어, 다양한 음성 처리 과제에 적용 가능한 범용 프레임워크를 제시한다.

하지만 몇 가지 한계점도 존재한다. STOI는 주로 중간 주파수 대역(300‑4000 Hz)에 민감하므로, 고주파 잡음이나 비음성 구간에서의 성능은 별도로 검증이 필요하다. 또한, FCN 구조는 입력 길이에 비례하는 연산량을 요구하므로, 매우 긴 발화(수십 초 이상)에서는 메모리 부담이 커질 수 있다. 향후 연구에서는 계층적 컨텍스트 윈도우링이나 스트리밍형 FCN 설계 등을 통해 이러한 문제를 완화할 수 있을 것이다.

종합하면, 이 논문은 “학습-평가 불일치”라는 근본적인 문제를 FCN 기반 발화 단위 학습과 STOI 직접 최적화라는 두 축으로 효과적으로 해결했으며, 실험을 통해 객관적·주관적 모두에서 의미 있는 개선을 입증하였다. 이는 음성 향상 기술이 실제 청취 환경과 ASR 시스템에 보다 직접적으로 기여할 수 있는 새로운 패러다임을 제시한다.