오디오 적대적 예제 방어를 위한 시간 의존성 활용

초록

본 논문은 자동음성인식(ASR) 시스템에 대한 적대적 공격을 방어하기 위해 오디오의 고유한 시간 의존성을 이용한 탐지 방법을 제안한다. 이미지 분야에서 흔히 쓰이는 입력 변환 방어가 오디오에서는 제한적인 효과만 보이며, 최신 적대적 공격에도 쉽게 우회된다. 반면, 입력을 앞부분(k‑프리픽스)과 전체 시퀀스의 전사 결과를 비교해 일관성을 측정하는 시간 의존성 기반 방법은 비적응형·적응형 공격 모두에 대해 높은 탐지 정확도를 유지한다. 실험은 LibriSpeech, Mozilla Common Voice, Speech Commands 등 세 데이터셋과 DeepSpeech, CNN 기반 음성 명령 분류 모델을 대상으로 수행했으며, 제안 방법이 기존 방어보다 견고함을 입증한다.

상세 분석

이 연구는 두 가지 핵심 질문에 답한다. 첫째, 이미지 분야에서 검증된 입력 변환(quantization, smoothing, down‑sampling, auto‑encoder) 방어가 오디오에 그대로 적용될 수 있는가? 둘째, 오디오 고유의 시간 의존성을 활용해 적대적 예제를 효과적으로 구분할 수 있는가?
입력 변환 실험에서는 파형 양자화(q=128~1024), 로컬 평균/중앙값 스무딩, 16 kHz→8 kHz 다운샘플링, 시퀀스‑투‑시퀀스 자동인코더 재구성 등 네 가지 방식을 구현했다. 이들 모두는 공격자가 gradient obfuscation을 회피하도록 설계된 Athalye et al. (2018) 방식의 적대적 예제에 대해 방어 효과가 거의 없었으며, 오히려 정상 음성의 인식 정확도도 저하시키는 부작용을 보였다. 이는 이미지에서 성공적인 입력 변환이 오디오에서는 파형의 연속성 및 인간 청각 특성에 의해 쉽게 무력화된다는 점을 시사한다.
시간 의존성 기반 탐지는 “k‑프리픽스 전사(S_k)”와 “전체 전사 후 k‑프리픽스(S_whole,k)” 사이의 Word Error Rate(WER)를 비교한다. 정상 음성은 RNN 기반 ASR 모델이 시계열 정보를 일관되게 활용하므로 두 전사 결과가 거의 동일한 낮은 WER을 보인다. 반면, 적대적 예제는 목표 텍스트를 강제하기 위해 파형 전역에 걸친 미세한 교란을 삽입하므로, 앞부분만 입력했을 때와 전체 입력 후 앞부분을 추출했을 때 전사 내용이 크게 달라 높은 WER을 만든다. 이 차이를 임계값(threshold)으로 활용해 적대적 여부를 판단한다.
실험은 세 가지 최신 공격을 대상으로 한다. ① Genetic Algorithm 기반 음성 명령 공격(Alzantot et al., 2018) – 비정형 교란으로 라벨을 바꾸는 공격; ② Carlini‑Wagner 최적화 기반 음성‑텍스트 공격(2018) – CTC 손실을 최소화해 목표 문장을 강제; ③ Commander Song 공격(Yuan et al., 2018) – 실제 노래에 삽입해 물리적 재생까지 가능한 공격. 각 공격에 대해 100개 샘플을 생성하고, 제안된 탐지 방법은 95% 이상 정확도로 적대적 샘플을 식별했다. 특히, 공격자가 방어 로직을 완전히 알면서도 “adaptive attack”을 설계했을 때도 탐지율은 90% 이상 유지되었다. 이는 시간 의존성 정보가 교란에 대해 상대적으로 강인함을 의미한다.
한계점으로는 k 값 선택이 데이터 길이와 모델에 따라 민감하게 작용한다는 점이다. 짧은 프리픽스는 충분한 문맥을 제공하지 못해 오탐률이 상승하고, 긴 프리픽스는 계산 비용이 증가한다. 또한, 방어가 전사 일관성에만 의존하므로, 완전한 무음 교란(예: 전혀 의미 없는 잡음)에는 적용이 어려울 수 있다. 향후 연구에서는 다중 스케일 프리픽스와 동적 임계값 학습을 결합해 이러한 문제를 완화하고, 비음성 신호(예: 음악)에도 확장 가능한 시간 의존성 기반 방어 프레임워크를 구축할 필요가 있다.