인공지능 차량 비서의 인간 중심 위협 분류와 방어 프레임워크

초록

본 논문은 차량에 탑재된 LLM 기반 대화형 비서가 외부 서비스와 A2A 프로토콜을 통해 교류하면서 발생하는 새로운 보안 위협을 인간 중심 자산 관점에서 체계화한다. 자산을 인간 권리와 가치로 정의하고, 공격 경로를 ‘독성 경로’와 ‘트리거 경로’로 구분하는 그래프 모델을 제시한다. 또한, 자동화된 다단계 위협 탐색 도구인 AgentHeLLM Attack Path Generator를 구현해 실용성을 입증한다.

상세 분석

이 논문은 자동차 산업에 LLM 기반 대화형 비서가 도입됨에 따라 발생하는 보안·안전 위험을 기존 AI 보안 프레임워크와 자동차 사이버 보안 표준 사이의 격차를 메우는 방식으로 접근한다. 가장 큰 혁신은 “분리된 관점(separation of concerns)”을 적용해 자산(asset)과 공격 경로(attack path)를 엄격히 구분한 점이다. 기존 OWASP Agentic AI Threats나 MAESTRO와 같은 프레임워크는 공격 기법과 결과를 혼합해 제시함으로써 안전‑중요 시스템에서 요구되는 체계적 검증과 추적성을 저해한다. 저자들은 이를 보완하기 위해 인간 중심 자산 프레임워크를 설계했으며, 이는 ‘피해자 모델링(victim modeling)’이라는 개념에 기반한다. 구체적으로, 운전자·승객, 디지털 신뢰망, 주변 환경(보행자·인프라), 시스템 제공자 네 가지 관점으로 피해자를 정의하고, 각 관점에 대해 유엔 인권 선언(UDHR)에서 도출한 일곱 가지 가치(생명·신체, 정신·정서, 프라이버시·개인 데이터, 지식·신념, 물질·경제, 명예·존엄, 사회적 관계·신뢰)를 자산으로 매핑한다. 이렇게 하면 “메모리 포이즈닝” 같은 기술적 공격이 실제로 침해할 수 있는 인간 가치가 명확히 드러난다.

두 번째 차원인 공격 경로 모델링에서는 에이전트 시스템을 ‘액터(Actor)’와 ‘데이터소스(Datasource)’ 노드, 그리고 ‘읽기·쓰기·통신·응답’ 네 가지 엣지로 구성한 유향 그래프를 제시한다. 이 그래프 위에서 ‘독성 경로(poison path)’는 악성 데이터가 시스템에 저장·전파되는 과정을, ‘트리거 경로(trigger path)’는 저장된 악성 데이터가 특정 조건 하에 실행되는 과정을 의미한다. 이러한 구분은 LLM의 컨텍스트 윈도우 특성—데이터가 저장된 뒤 명시적 호출을 통해 활성화된다는 점—을 정확히 반영한다. 논문은 메모리 포이즈닝과 인간‑인‑루프를 이용한 권한 상승 두 가지 사례를 그래프 형태로 시각화해, 공격자가 어떻게 단계별로 자산을 침해하고 연쇄적인 피해를 유발할 수 있는지를 보여준다.

또한, 저자들은 이 모델을 자동화하기 위해 ‘AgentHeLLM Attack Path Generator’를 구현했다. 이 도구는 이중 레벨 탐색(bi‑level search) 전략을 사용해, 먼저 자산 목록을 기반으로 가능한 독성·트리거 경로 후보를 생성하고, 이후 시뮬레이션 기반 검증을 통해 실현 가능성이 높은 다단계 위협 시나리오를 도출한다. 오픈소스로 공개된 점은 학계·산업계가 동일한 프레임워크를 적용해 차량 비서뿐 아니라 다른 안전‑중요 도메인에도 확장할 수 있는 기반을 제공한다는 의미다.

전체적으로 이 논문은 (1) 인간 중심 자산 정의를 통해 기존 기술‑중심 분류의 한계를 극복하고, (2) 그래프 기반 공격 경로 모델로 LLM 특유의 비선형·다단계 공격을 체계적으로 표현하며, (3) 자동화 도구를 통해 실무 적용 가능성을 입증한다는 세 가지 핵심 기여를 한다. 특히 ISO/SAE 21434의 TARA 절차와 결합해, 비결정적 AI 시스템에도 적용 가능한 위험 분석 방법론을 제시함으로써 자동차 사이버 보안 표준의 진화를 촉진한다.