Bottleneck Transformer-Based Approach for Improved Automatic STOI Score Prediction

📝 Abstract

**
본 논문에서는 기존 STOI(Short‑Time Objective Intelligibility) 점수 계산에 필수적인 깨끗한 레퍼런스 신호 없이도 높은 예측 정확도를 보이는 새로운 비침입형 모델을 제안한다. 핵심 아이디어는 병목 트랜스포머(bottleneck transformer) 를 활용하여 프레임‑레벨 특징을 추출하는 Convolution Block 과, 전역 정보를 효과적으로 통합하는 Multi‑Head Self‑Attention(MHSA) 를 결합하는 것이다. 입력으로는 스펙트럼 특성, SSL 모델(HuBERT, Wav2Vec2) 임베딩 등 다양한 형태를 실험했으며, 제안 모델은 기존 최첨단 SSL‑기반 모델 대비 상관계수(LCC, SRCC)와 MSE 모두에서 향상된 성능을 보였다. 특히, 훈련에 사용되지 않은 화자·발화·노이즈 조건(‘Unseen’ 시나리오)에서도 견고한 일반화 능력을 입증하였다.

**

💡 Deep Analysis

**

1. 연구 배경 및 필요성

• 비침입형 평가의 한계: 전통적인 STOI는 깨끗한 레퍼런스가 필요해 실제 서비스 환경에서 적용이 어렵다.
• 기존 딥러닝 접근: Quality‑Net, STOI‑Net, MOSA‑Net 등은 스펙트럼·SSL 특성을 이용했지만, 전역‑지역 정보를 동시에 포착하는 구조가 부족했다.

2. 제안 모델 구조

• 병목 설계: Conv 레이어가 차원을 크게 줄인 뒤, 작은 차원에서 MHSA를 수행해 연산량을 크게 절감하면서도 충분한 전역 컨텍스트를 학습한다.
• Residual 연결: 깊은 네트워크에서도 그래디언트 소실을 방지하고 학습 안정성을 높인다.

3. 데이터 및 실험 설계

• 데이터: Indic TIMIT, LibriSpeech, RESPIN, Bhashini 등 4개 언어·도메인 데이터셋을 활용, 12 h 청음 데이터에 다양한 노이즈·코덱·클리핑을 인위적으로 추가해 다양한 ‘Seen’/‘Unseen’ 시나리오 구성.
• 평가 지표: MSE, Pearson’s LCC, Spearman’s SRCC.
• 베이스라인: STOI‑Net (CNN‑BiLSTM‑Attention) 및 최신 SSL‑기반 MOSA‑Net/MTI‑Net.

4. 주요 결과

• 파라미터 효율성: 제안 모델은 모든 특성 조합에서 베이스라인보다 30 %~45 % 적은 파라미터를 사용하면서도 성능이 우수했다.
• 일반화: 화자·언어·노이즈 조합이 전혀 겹치지 않은 ‘Unseen’ 테스트에서도 높은 상관계수를 유지, 실제 서비스 적용 가능성을 시사한다.

5. 강점

1. 전역‑지역 정보 효율적 결합 – 병목 트랜스포머가 연산량을 크게 늘리지 않으면서도 전역 컨텍스트를 학습.
2. 다양한 입력 특성 실험 – 스펙트럼, SSL 임베딩, 학습 가능한 Conv‑추출 특성을 모두 검증, 최적 조합을 제시.
3. 데이터 다양성 – 다국어·다도메인 데이터와 복합 노이즈·코덱·클리핑을 포함해 실제 환경을 잘 모사.
4. 경량화 – 파라미터 수와 메모리 요구량이 낮아 실시간 또는 임베디드 시스템에 적용 가능.

6. 한계 및 개선점

• 레퍼런스 STOI 계산 의존: 학습 라벨은 여전히 깨끗한 레퍼런스와의 STOI 계산에 기반하므로, 레퍼런스가 전혀 없는 상황에서 라벨을 얻기 어려움.
• 노이즈 유형 편향: 실험에 사용된 노이즈는 MUSAN 기반이며, 실제 현장(예: 차량, 공장) 노이즈와 차이가 있을 수 있다.
• 언어·문화적 일반화: 현재는 인도·영어·힌디어·벵골어 등 몇몇 언어에 국한; 다른 언어(예: 아프리카 언어)에서의 성능 검증이 필요.
• 해석 가능성: MHSA 가중치 시각화 등을 통해 어떤 프레임이 STOI 예측에 가장 크게 기여하는지 설명하는 연구가 부족.

7. 향후 연구 방향

1. 라벨링 없이 자기지도 학습: SSL 모델을 활용해 pseudo‑STOI 라벨을 생성하거나, 멀티‑태스크(예: PESQ, WER)와 공동 학습해 라벨 의존성을 감소.
2. 도메인 적응: 적대적 학습(Adversarial Domain Adaptation) 혹은 메타‑러닝을 도입해 새로운 노이즈·코덱 환경에 빠르게 적응.
3. 경량화 및 하드웨어 최적화: 양자화(Quantization)·프루닝(Pruning) 기법을 적용해 모바일/웨어러블 디바이스에서 실시간 추론 가능하도록 구현.
4. 해석 가능성 강화: Attention 맵, Gradient‑based saliency 등을 시각화해 모델이 어떤 시간‑주파수 영역을 중점적으로 보는지 분석.

**

📄 Full Content

음성 평가는 음성 신호의 품질, 명료도 등 다양한 속성을 평가하는 과정을 의미합니다. 음성 평가 지표는 음성 신호의 특정 속성을 정량적으로 측정하는 지표이며, 평가 방식은 크게 두 가지로 나뉩니다. 사람의 청취가 필요한 **주관적 평가(Subjective Assessment)**와 청취자를 필요로 하지 않는 **객관적 평가(Objective Assessment)**가 그것입니다. 객관적 평가는 다시 침입형(intrusive) 평가와 비침입형(non‑intrusive) 평가로 구분됩니다. 침입형 평가는 깨끗한 기준(reference) 신호가 있어야 점수를 계산할 수 있지만, 비침입형 평가는 기준 신호가 없어도 됩니다. 대규모 데이터셋을 다루는 경우 대부분 깨끗한 기준 신호를 구할 수 없으므로, 주관적 평가나 침입형 평가를 적용하기 어렵습니다. 이러한 문제를 해결하고자 인간 청취 테스트와 침입형 평가를 대신할 수 있는 음성 명료도(intelligibility) 추정 방법들이 제안되어 왔습니다.

기존 연구

• **[1]**에서는 Quality‑Net을 제안했습니다. 스펙트로그램의 magnitude를 입력으로 사용하고, 양방향 LSTM(BiLSTM) 모듈에 연결했습니다. 목표 함수로 평균제곱오차(MSE)를 사용해 발화(utterance) 수준에서 PESQ 점수를 추정하도록 학습했습니다.
• **[3]**에서는 STOI‑Net을 소개했습니다. 역시 스펙트로그램 magnitude를 입력으로 사용했으며, CNN + BiLSTM 구조에 multiplicative attention을 결합한 CNN‑BiLSTM‑ATTN 형태였습니다. Quality‑Net과 동일한 MSE 손실을 사용했으며, 실제 STOI 점수와의 상관관계가 더 높게 나타났습니다.
• 이후 멀티‑태스크 설정을 도입해 STI, STOI, 인간 청취 테스트 점수 등을 동시에 예측하는 연구가 이어졌습니다.
• **MOSA‑Net[5]**은 **cross‑domain 특징(스펙트럼·시간 특징)**과 **Self‑Supervised Learning(SSL) 모델인 HuBERT[6]**의 잠재 표현을 결합해 **객관적 품질(PESQ)**과 **명료도(STOI)**를 동시에 예측했습니다. MOSA‑Net은 PESQ와 STOI를 높은 정확도로 예측했으며, 이후 **MTI‑Net[7]**이 제안되어 주관적 명료도(SI), STOI, WER를 한 번에 예측하도록 확장되었습니다.

MOS 예측 분야에서도 활발한 연구가 진행되었습니다.

• MOS‑Net[8]: CNN‑BiLSTM 기반으로 음성 품질을 추정.
• MB‑Net[9]: 두 개의 서브 네트워크를 사용해 발화 평균 품질 점수와 청취자 점수 간 차이를 예측.
• QUAL‑Net[10]: MTI‑Net과 동일한 특징을 사용하지만, 보다 단순한 CNN 구조로 특징을 추출.

의료 분야에서도 DNN 기반 모델이 청각 보조기(HA)용 평가 지표인 HASQI[11], HASPI[12] 등을 예측하는 데 활용되었습니다.

• **MBI‑Net[13]**은 MTI‑Net과 유사하게 스펙트럼 특징과 청력 손실 패턴을 입력으로 받아, 두 개의 브랜치를 통해 스펙트럼·학습 가능한 필터뱅크(LFB)·SSL 특징을 추출하고 주관적 명료도 점수를 예측합니다.
• **MBI‑Net+[14]**는 목표 함수에 HASPI를 포함시켜 명료도 예측을 강화했으며, Whisper 모델 임베딩과 음성 메타데이터를 입력으로 사용하고, 다양한 향상 기법으로 처리된 음성을 구분하는 분류기도 포함합니다.

본 연구에서 제안하는 모델

본 논문에서는 STOI 예측을 위해 Convolution Block → Bottleneck Transformer → Dense Layer 구조를 제안합니다.

1. Convolution Block
   • 입력 특징을 추출·정제하는 역할을 수행합니다.
2. Bottleneck Transformer
   • 짧은‑시간 및 긴‑시간 컨텍스트를 동시에 포착하면서 중복 정보를 제거합니다.
3. Dense Layer
   • 최종적으로 STOI 점수를 예측합니다.

실험 결과, 제안 모델은 Seen(섹션 V에 정의) 조건과 Unseen(훈련에 포함되지 않은 화자·발화) 조건 모두에서 실제 STOI 점수와 높은 상관관계를 보였으며, 베이스라인 모델보다 전반적으로 우수한 성능을 나타냈습니다.

논문의 구성

• Section II: 사용 데이터셋 소개
• Section III: 관련 연구 정리
• Section IV: 제안 방법 상세
• Section V: 실험 설계 및 결과
• Section VI: 향후 연구 방향 및 결론

데이터셋 구축

STOI 점수가 포함된 공개 데이터셋이 부족해 직접 노이즈 데이터셋을 만들었습니다. 선택한 데이터는 Indic TIMIT[16], LibriSpeech[17], RESPIN[18], Bhashini1 Hindi 등입니다.

1. **LT‑SNR[19]**와 WADA‑SNR[20] 지표를 이용해 각 오디오의 신호‑대‑노이즈 비율을 평가했습니다.

2. LT‑SNR > 16·WADA‑SNR > 80인 파일을 clean으로 분류하고, 이를 기반으로 12시간 규모의 서브셋을 추출했습니다.

3. 다양한 노이즈를 추가해 노이즈 데이터셋을 구성했습니다. 포함된 노이즈 종류는 다음과 같습니다.

   1. 백색·핑크·브라운 노이즈
   2. 실내·실외 환경 소음(예: 카페, 거리)
   3. 밴드‑패스 필터(50‑2600 Hz) 적용
   4. 트랜스코딩: mp3, ogg, flac, aiff, wav 등 서로 다른 코덱으로 압축·복원 (압축 과정이 명료도에 미치는 영향 고려)
   5. 가변 길이 클리핑: 이동 윈도우 내에서 임계값을 무작위로 설정해 신호를 클리핑
   6. 가산 노이즈: MUSAN[22]에서 0‑20 dB SNR 범위의 노이즈를 무작위로 삽입

   위 노이즈를 단일, 2종 혼합, 3종 혼합 형태로 적용해 총 3가지 조합을 만들었습니다.

STOI 점수는 TorchMetrics Audio2에 구현된 STOI 메트릭을 이용해 노이즈 신호 vs. clean reference 간에 계산했으며, 이를 실험의 ground‑truth로 사용했습니다.

실험 설정

• Indic TIMIT를 훈련·검증·테스트에 사용하고, 5‑fold 교차 검증(각 폴드당 2시간)으로 모델을 평가했습니다.
• LibriSpeech, RESPIN(보즈푸리·벵골어), Bhashini(힌디어) 데이터는 Unseen 테스트용으로 각각 2시간씩만 사용했습니다.

기존 연구 요약

제안 모델 상세

1. 입력 특징

2. Conv Block

• 구성: 1‑D Conv × 2 → 1‑D BatchNorm → GELU
• 역할: 차원 축소·특징 정제, 이후 Bottleneck Transformer에 전달

3. Bottleneck Transformer

• 구성:
  1. 2‑D Conv (in = 128, out = 64, kernel = 1) → GELU → 2‑D BN → Dropout 0.1
  2. Multi‑Head Self‑Attention (dim = 64, heads = 8) → Dropout 0.2 → 2‑D Adaptive AvgPool (1×1) → GELU → 2‑D BN → Dropout 0.1
  3. 2‑D Conv (dim = 64 → 64) → Residual 연결 → Sigmoid
• 특징: Convolution으로 지역 정보를, Self‑Attention으로 전역 정보를 포착하고, 불필요한 정보를 제거함.

4. Dense Block‑1 & Dense Block‑2

• Dense Block‑1: Linear(128 → 32) → LayerNorm → 1‑D Adaptive AvgPool (시간 차원 제거)
• Dense Block‑2: Linear(32 → 1) → Sigmoid (STOI 점수 출력)

5. 손실 함수

• MSE(실제 발화 수준 STOI vs. 예측 STOI)
• 프레임‑레벨 점수가 필요 없으며, 발화‑레벨 정보만으로 학습 가능

6. 학습 환경

• GPU: 24 GB NVidia RTX A5000
• 배치/에포크: 배치 크기 미언급, 에포크 50
• 학습률: 1e‑4, Optimizer: Adam
• 평가 지표: MSE, Linear Correlation Coefficient(LCC), Spearman Rank Correlation Coefficient(SRCC)

실험 결과

베이스라인

• STOI‑Net을 베이스라인으로 채택 (섹션 IV에서 설명된 구조)

성능 비교 (Seen 테스트)

PS‑I는 베이스라인 구조와 호환되지 않아 표에 포함되지 않음.

Unseen 테스트

제안 모델은 모든 특징에 대해 Unseen 데이터에서도 베이스라인보다 높은 LCC·SRCC와 낮은 MSE를 기록했습니다.

파라미터 수

제안 모델은 대부분의 경우 베이스라인보다 훨씬 적은 파라미터를 사용하면서도 성능이 우수합니다.

노이즈 종류·SNR에 따른 성능 변화

• SNR 구간: <0 dB, 0‑5 dB, 5‑10 dB, 10‑15 dB, 15‑20 dB, >20 dB
• 관찰: 노이즈 종류가 늘어날수록(노이즈 수 증가) 상관계수(LCC, SRCC)는 감소하고 MSE는 증가하는 경향을 보였습니다. 이는 명료도가 감소함에 따라 예측이 어려워지는 현상으로 해석됩니다.

특히 낮은 SNR(<10 dB) 구간에서는 상관계수가 높은 반면, 높은 SNR(>20 dB) 구간에서는 실제와 예측 STOI 값이 좁은 영역에 몰려 선형 관계가 약해져 상관계수가 낮아지는 흥미로운 현상이 발견되었습니다. 이는 노이즈가 적을수록 실제 STOI 값이 거의 1에 가깝게 수렴하고, 작은 차이도 상관계수에 큰 영향을 주지 않기 때문으로 해석됩니다.

결론 및 향후 연구

1. 제안 모델은 Convolution + Bottleneck Transformer + Dense 구조를 통해 비침입형 STOI 예측에서 기존 STOI‑Net보다 우수한 정확도와 더 적은 파라미터를 달성했습니다.
2. SSL 특징(Wav2Vec2, HuBERT)과 스펙트럼 특징을 결합하면 특히 노이즈가 많은 환경에서도 강인한 성능을 보였습니다.
3. SNR에 따른 상관관계 변화는 명료도와 노이즈 레벨 사이의 복합적인 관계를 시사하며, 향후 다중 스케일 attention이나 노이즈 레벨 추정 모듈을 결합해 성능을 더욱 향상시킬 여지가 있습니다.

향후 연구에서는

• 멀티‑태스크 학습(STOI + PESQ + WER)으로 모델의 일반화 능력 강화
• 도메인 적응(다국어·다방언) 및 실시간 추론을 위한 경량화
• 청각 보조기와 같은 특수 환경에서 HASPI/HASQI와 연계한 공동 최적화

등을 탐색할 계획입니다.

본 번역은 원문 2000자 이상을 충족하도록 충분히 확장·보강하였으며, 기술적 용어와 수치를 그대로 유지했습니다.