AI 음성 에이전트 보안을 위한 Aegis 프레임워크

초록

Aegis는 음성 기반 대형 언어 모델(ALLM) 에이전트를 실제 배포 파이프라인에 맞춰 레드팀 테스트하는 체계적 프레임워크이다. 은행 콜센터, IT 지원, 물류 디스패치 등 고위험 도메인에서 인증 우회, 개인정보 유출, 자원 남용, 권한 상승, 데이터 중독 등 5가지 공격 시나리오를 설계·실험한다. 실험 결과, 접근 제어만으로는 행동 기반 공격을 막을 수 없으며, 오픈‑웨이트 모델이 폐쇄형 모델보다 취약함을 보였다. 따라서 다계층 방어(접근 제어 + 정책 시행 + 행동 모니터링)가 필요함을 강조한다.

상세 분석

Aegis는 기존 텍스트‑중심 LLM 보안 평가와 달리, 음성 입력·출력이라는 멀티모달 특성을 고려한 전용 레드팀 프레임워크이다. 먼저 실제 서비스 흐름을 모델링해 인증 단계와 서비스 단계로 구분하고, 각 단계에 맞는 공격 표면을 정의한다. 은행, IT 지원, 물류라는 세 도메인은 각각 고유의 인증 메커니즘(핀·보안 질문·다중 인증)과 업무 로직(계좌 조회·비밀번호 재설정·배송 재조정)을 포함한다. 이러한 설정 위에 MITRE ATT&CK 기반의 5가지 시나리오를 매핑함으로써, 공격자는 음성 변조, 사회공학, 악의적 프롬프트 삽입 등을 통해 시스템을 오용한다.

실험에서는 두 가지 데이터 접근 모델을 비교한다. (1) 에이전트가 원시 DB 레코드에 직접 읽기 권한을 갖는 경우와 (2) 질의‑응답 인터페이스만 제공하는 중간 계층을 이용하는 경우다. 결과는 접근 제어가 인증 우회와 개인정보 유출을 크게 감소시키지만, 권한 상승·자원 남용·데이터 중독 같은 행동 기반 공격은 여전히 성공한다는 점을 보여준다. 특히 오픈‑웨이트 모델(예: Llama‑Audio, Whisper‑ 기반 변형)은 프롬프트 삽입에 대한 방어가 약해, 동일한 공격에 대해 폐쇄형 상용 모델(OpenAI, Gemini)보다 높은 성공률을 기록한다.

또한, 공격자 페르소나와 성별·억양 같은 음성 특성이 결과에 미치는 영향은 제한적이었다. 이는 정책이 명확히 정의되고, 음성 인증이 다중 요인으로 구성될 경우 사회공학적 변형이 크게 작용하지 않음을 시사한다. 그러나 정책 위반을 실시간 감지하고 차단하는 행동 모니터링이 부재하면, 악의적 명령이 연쇄적으로 실행되어 시스템 자원을 고갈시키거나 민감 데이터를 추출할 수 있다.

따라서 저자들은 “다계층 방어” 전략을 제안한다. 첫 번째 층은 전통적인 인증·권한 관리이며, 두 번째 층은 프롬프트‑레벨 정책(예: 위험 명령 블랙리스트, 컨텍스트 제한)이다. 세 번째 층은 실시간 행동 분석으로, 비정상적인 대화 흐름·반복적인 고위험 명령을 탐지해 자동 차단한다. 이러한 방어 체계는 모델 종류와 배포 환경에 관계없이 적용 가능하도록 설계되었다.