현대 음성 강화 시스템, 적대적 공격에 취약할까?

초록

본 논문은 최신 예측 기반 및 확산 기반 음성 강화 모델이 심리음향적으로 은폐된 적대적 노이즈에 의해 목표 음성을 완전히 바꾸는 공격에 노출될 수 있음을 보이고, 확산 모델의 확률적 샘플링이 이러한 공격에 내재적 방어를 제공한다는 점을 실험적으로 입증한다.

상세 분석

이 연구는 음성 강화(SE) 시스템이 기존에는 잡음 제거 정도의 제한된 변형만을 수행했지만, 최근 딥러닝 기반 예측 모델과 점점 복잡해지는 확산(스코어 기반) 생성 모델이 고차원적인 변환 능력을 갖추면서 새로운 보안 위협에 노출될 수 있음을 지적한다. 저자들은 화이트박스 시나리오를 가정하여, 공격자가 SE 모델의 구조와 파라미터를 완전히 알고 있다고 전제한다. 이 조건 하에서, 원본 잡음이 섞인 음성 Y_user에 복소수 형태의 미세 교란 δ를 추가하고, SE 모델 f_SE를 통과시킨 출력 ˆS가 공격자가 미리 준비한 목표 음성 S_attacker와 최대한 유사하도록 최적화한다. 핵심 손실 함수는 단순 MSE 기반이며, 이를 최소화하기 위해 프로젝트된 경사 하강법(PGD)과 모멘텀을 사용한다.

특히, 인간 청각의 마스킹 현상을 활용한 심리음향 은폐 기법을 도입한다. MPEG‑1 기반 청각 임계값 H(q,n)을 계산하고, 교란 스펙트럼 D(q,n)와 비교해 마스크 Φ(q,n)를 생성한다. 이 마스크는 각 주파수‑시간 셀에 대해 교란이 청각적으로 감지되지 않도록 스케일링하며, 최종 업데이트 단계에서 ∇L_adv에 곱해진다. λ 파라미터를 통해 은폐 강도를 조절함으로써, 공격 성공률과 교란 가시성 사이의 트레이드오프를 정량적으로 탐색한다.

예측 기반 모델은 두 가지 형태로 구현된다. 첫 번째는 직접 매핑(d_θ)으로, 입력 스펙트로그램 Y를 바로 깨끗한 스펙트럼 ˆS로 변환한다. 두 번째는 복소 비율 마스크(M_θ)를 예측해 Y에 곱하는 방식이다. 두 모델 모두 복소수 MSE로 학습되며, 동일한 NCSN++ U‑Net 백본을 공유한다.

생성 기반 모델은 SGMSE+ 구조를 차용한 스코어 기반 확산 모델이다. 여기서는 연속시간 확산 과정이 Y에 조건화되고, 역 SDE를 통해 초기 노이즈 상태 x_T ~ N_C(Y,σ_T^2 I)에서 깨끗한 스펙트럼으로 복원한다. 저자들은 두 가지 샘플링 전략을 비교한다. (1) 표준 확률적 역 SDE는 매 스텝마다 새로운 Wiener 노이즈를 샘플링하고, (2) 고정 노이즈 역 SDE는 동일한 난수 시드로 전체 과정을 deterministic하게 만든다. 후자는 메모리 절감을 위해 활성화 체크포인팅을 사용하면서도, 역전파 시 모든 스텝에 대한 그래디언트를 정확히 계산한다.

실험은 EARS‑WHAM‑v2 데이터셋(86시간, 다양한 SNR)에서 100개의 무작위 (Y_user, S_attacker) 쌍을 선정해 수행된다. 공격은 K=150 반복, 학습률 η=0.1, 모멘텀 0.4, ℓ2 예산 ε와 은폐 파라미터 λ를 조합해 다양한 제약 조건을 부여한다. 평가 지표는 두 축으로 나뉜다. (a) 공격 성공도: 목표 음성과의 WER, POLQA, ESTOI, DistilMOS; (b) 교란 영향도: 원본 혼합과 교란된 혼합 간 POLQA, ESTOI, 그리고 δ 대비 Y_user의 SNR.

결과는 예측 모델이 제한 없는 경우 거의 완벽한 목표 매칭(WER≈0.02, ESTOI≈0.94)을 달성하지만, 교란이 매우 크게 들려 SNR≈‑2.9 dB로 인간에게 명백히 인지된다. ℓ2 제약(ε=10)과 은폐 λ를 조정하면 SNR을 0 dB 이상으로 끌어올리면서도 WER을 0.15 수준까지 낮출 수 있다. 반면, 확산 모델은 동일한 제약 하에서 공격 성공도가 현저히 낮다. 고정 노이즈 샘플링에서는 DistilMOS≈3.90, POLQA≈3.03, ESTOI≈0.81, WER≈0.27을 기록했으며, 확률적 샘플링에서는 더 낮은 성공도(DistilMOS≈3.40, POLQA≈2.28, ESTOI≈0.69, WER≈0.47)를 보인다. 이는 확산 과정의 무작위성 자체가 교란을 평균화하고, 공격자가 목표 출력을 정확히 제어하기 어렵게 만든다는 점을 시사한다. 또한, 확산 모델은 교란이 원본 혼합에 미치는 영향이 비교적 작아(예: SNR≈‑7 dB) 예측 모델보다 더 견고함을 확인한다.

종합하면, 현대의 고성능 예측 기반 SE 시스템은 심리음향 마스크를 이용한 정교한 적대적 교란에 취약하지만, 확산 기반 SE는 샘플링의 확률성으로 인해 자연스럽게 방어 효과를 제공한다. 이는 향후 SE 시스템 설계 시, 확산 모델 채택 혹은 샘플링 다양성 도입이 보안 측면에서 유리할 수 있음을 암시한다.