오디오 탈옥: 엔드‑투‑엔드 대형 오디오‑언어 모델을 향한 새로운 위협

초록

본 논문은 기존 텍스트 기반 탈옥 공격을 오디오 환경에 그대로 적용할 수 없음을 실증하고, 비동기·범용·은폐·공기 전파 강인성을 동시에 갖춘 새로운 오디오 탈옥 기법 AudioJailbreak를 제안한다. 강력한(adversary)와 약한(adversary) 두 위협 모델을 모두 고려하며, GPT‑4o‑Audio와 Meta Llama‑Guard‑3 방어 체계를 무력화하는 실험 결과를 제시한다.

상세 분석

AudioJailbreak는 엔드‑투‑엔드 LALM(대형 오디오‑언어 모델)의 구조적 특성을 정밀히 분석한 뒤, 네 가지 핵심 속성을 설계 목표로 삼았다. 첫째, **비동기성(asynchrony)**을 확보하기 위해 ‘접미사형(jailbreak suffix)’ 오디오를 사용한다. 사용자가 음성 프롬프트를 마친 직후, 공격자는 별도의 악의적 오디오를 연속 재생함으로써 시간 정렬을 요구하지 않는다. 이는 기존 연구가 사용자 프롬프트와 정확히 동기화된 오디오를 필요로 했던 한계를 극복한다.

둘째, **범용성(universality)**을 위해 다중 프롬프트를 동시에 최적화한다. 공격자는 여러 정상 사용자 음성 샘플을 손실 함수에 포함시켜, 하나의 교란 파라미터(δ)가 다양한 길이·내용의 프롬프트에 대해 동일하게 작동하도록 학습한다. 결과적으로 공격자는 사전에 특정 프롬프트를 알 필요 없이, ‘강한(adversary)’와 ‘약한(adversary)’ 시나리오 모두에서 높은 성공률을 달성한다.

셋째, **은폐성(stealthiness)**을 강화하기 위해 두 가지 전략을 제시한다. (a) 악의적 명령을 고속 재생하거나 음성 변조하여 인간 청취자가 의도를 파악하기 어렵게 만든다. (b) 악의적 명령 자체를 제거하고, 오디오 자체만으로 모델의 내부 토큰화 과정을 교란시키는 방식이다. 주관적 청취 실험과 객관적 음성 인식 오류율을 통해 은폐 효과를 정량화하였다.

넷째, **공기 전파 강인성(over‑the‑air robustness)**을 확보한다. 실제 환경에서 마이크와 스피커 사이에 발생하는 잔향·반향을 Room Impulse Response(RIR)으로 모델링하고, 학습 단계에 무작위 RIR을 삽입한다. 이를 통해 재생된 오디오가 실내·실외 다양한 환경에서도 공격 성공률을 70% 이상 유지한다.

실험에서는 현재 공개된 10개의 엔드‑투‑엔드 LALM(예: Mini‑Omni, Qwen‑Audio, LLaSM 등)과 두 개의 벤치마크 데이터셋을 활용했다. 샘플‑특정 공격에서는 강한(adversary) 상황에서 최소 46%, 약한(adversary) 상황에서 거의 100%의 성공률을 기록했으며, 범용 공격에서는 각각 87%와 76%의 성공률을 달성했다. 특히, GPT‑4o‑Audio는 강한(adversary) 상황에서는 비교적 견고했지만, 약한(adversary) 시나리오에서는 13%~34%의 성공률을 보이며 취약점을 드러냈다. 또한, Meta의 Llama‑Guard‑3 방어 메커니즘은 약한(adversary) 상황에서 거의 무효화되었다는 점을 실험적으로 입증했다.

논문은 또한 기존 방어 기법(입력 필터링, 토큰 검열, 음성 신호 정규화 등)이 AudioJailbreak에 대해 제한적인 효과만을 보인다는 점을 강조한다. 이는 현재 LALM 보안 연구가 텍스트 중심에서 오디오 중심으로 전환될 필요성을 시사한다. 마지막으로, 구현 코드와 오디오 샘플을 공개함으로써 재현 가능성을 높이고, 향후 방어 연구의 기준점이 될 것을 기대한다.