LLM 기반 자동차 시스템의 안전성 및 보안 설계

읽는 시간: 9 분
...

📝 원문 정보

- Title: LLM-Empowered Functional Safety and Security by Design in Automotive Systems
- ArXiv ID: 2601.02215
- 발행일: 2026-01-05
- 저자: Nenad Petrovic, Vahid Zolfaghari, Fengjunjie Pan, Alois Knoll

📝 초록

이 논문은 자동차 산업의 혁신에서 가장 중요하게 여겨지는 기능적 안전성과 사이버 보안을 유지하면서 고급 차량 기능의 신속한 프로토타입, 검증 및 배포에 중점을 둔다. 특히 복잡해지고 있는 소프트웨어 정의 차량(SDV)에서 이러한 중요성이 더욱 부각된다. 대규모 언어 모델(LLMs)은 자연어 요구사항에서 구조를 추출하고 초기 행동 모델을 생성하여 이 과정을 가속화할 수 있는 새로운 기회를 제공한다. 그러나 LLMs가 무분별하게 사용될 경우, 정확성과 안전한 동작, 타이밍 결정론, 보안 포지셔닝에 대한 보장이 부족하다는 문제점이 있다.

따라서 이러한 간극을 메우기 위해 기능적 안전성 및 보안 분석을 지원하기 위한 이벤트 체인(Event Chain) 기반의 LLM 가이드 워크플로를 제안한다. 이 방법은 자동차 시스템에서 안전 메커니즘과 타이밍 요구사항을 구성하는 인과적, 시간적, 데이터 흐름 관계를 구조화된 표현으로 제공하며, LLM의 출력을 제약하고 안전하지 않거나 검증되지 않은 동작이 생성되는 것을 방지한다.

또한 이 프레임워크 내에서는 LLM이 전문적인 도메인 지식이 필요한 작업들을 자동화하는 데 도움을 주며, 텍스트 요구사항에서 후보 안전 메커니즘을 도출하거나 기능적 의도와 차량 신호 사양(VSS)을 정렬하고 잠재적인 위험 또는 비안전 상호작용을 식별한다. 뿐만 아니라 검색 강화 생성(RAG)은 LLM의 추론 범위를 인정된 VSS 카탈로그, 안전 매뉴얼 및 아키텍처 설명과 같은 신뢰할 수 있는 데이터 소스로 제한하여 환영 신호나 평가되지 않은 데이터 경로를 줄인다. 이를 통해 자동으로 생성된 모델은 안전 및 사이버 보안 심사에 필요한 권위있는 출처와의 추적 가능성을 유지한다.

이벤트 체인 모델과 LLM 간의 시너지는 기능적 안전성(예: 시간 예산 위반, 인과 체인 파괴, 누락된 안전 반응) 및 사이버 보안(예: 무단 신호 경로, 일관되지 않은 신뢰 경계 또는 예상치 못한 제어 영향력)에 대한 자동 사전 분석을 가능하게 한다. 코드가 타겟 플랫폼으로 배포되기 전에 ISO 26262 파트 6(소프트웨어 아키텍처 제약 조건) 및 ISO 21434(안전한 신호 및 인터페이스 처리)와 일치하는 일관성 검사를 수행한다. 결과적으로 LLM 생성 아티팩트는 더 신뢰할 수 있으며, 기존 안전 공학 워크플로에 직접 통합될 수 있다.

이러한 제안된 파이프라인은 자동차 코드의 안전 및 보안 분석 절차를 자동화하려는 시도로서 초기 디자인 단계에서의 노력 감소와 동시에 현대적인 안전 및 사이버 보안 요구사항을 충족하는 엄격함을 유지한다. 이를 증명하기 위해 우리는 물리적 테스트벤치와 시뮬레이션 플랫폼 기반의 ADAS 시나리오에 이 워크플로를 적용한다.

💡 논문 해설

1. **간단하게:** LLMs는 자동차 코드에서 안전하고 보안적인 동작을 만드는데 도움을 주지만, 무분별히 사용하면 문제가 발생할 수 있다. 그래서 우리는 이벤트 체인 기반의 워크플로를 제안하여 LLM의 결과를 제약하고 안전하게 유지한다.
  1. 보통: LLMs는 자동차 소프트웨어에서 필요조건을 자연어로 분석하고 코드 생성에 도움이 되지만, 무분별한 사용은 정확성과 보안성을 해칠 수 있다. 따라서 이벤트 체인 기반 워크플로를 통해 LLM의 결과가 안전하게 제약되도록 하는 방법을 제시한다.

  2. 어려운: 자동차 산업에서 복잡해지는 소프트웨어 정의 차량(SDV)은 고급 기능에 대한 신속한 프로토타입, 검증 및 배포가 필요하다. LLMs는 이 과정을 가속화하나 무분별하게 사용하면 안전성과 보안성을 해치는 문제가 발생할 수 있다. 따라서 우리는 이벤트 체인 기반의 워크플로를 제시하여 LLM의 결과가 안전하고 검증 가능한 방향으로 제약되도록 한다.

📄 논문 발췌 (ArXiv Source)

사이버 보안, 기능적 안전성, 이벤트 체인, 대규모 언어 모델(LLMs), SDV.

서론

혁신적인 자동차 산업에서 고급 차량 기능의 신속한 프로토타입, 검증 및 배포를 수행하면서 기능적 안전성과 사이버 보안을 유지하는 것은 매우 중요하다. 특히 복잡해지고 있는 소프트웨어 정의 차량(SDV)에서 이러한 중요성이 더욱 부각된다. 전통적인 워크플로는 수동으로 작성된 사양, 상태 머신 및 특수 모델링 도구에 의존하며 ISO 26262와 ISO 21434에 대한 준수를 위한 추적 가능성을 제공한다. 그러나 이러한 과정은 전문가의 중대한 개입을 필요로 하며, 시스템 복잡성이 증가함에 따라 다양한 센서 모달리티, 분산된 ECUs 및 변동 타이밍 동작을 통합하는 것이 점점 더 어려워진다.

Large Language Models (LLMs)은 자연어 요구사항에서 구조를 추출하고 초기 행동 모델을 생성하여 이러한 과정을 가속화할 수 있는 새로운 기회를 제공한다. 그러나 무분별하게 사용될 경우, LLMs는 정확성, 안전한 동작, 타이밍 결정론 및 보안 포지셔닝에 대한 보장이 부족하다. 직접적인 LLM 생성 논리는 환영 신호, 아키텍처 인터페이스 위반 또는 해석 분석(HARA), 실패 전파 모델링 또는 위협 분석과 위험 평가(TARA)를 위해 중요한 인과 제약을 무시할 수 있다.

이러한 간극을 메우기 위해 기능적 안전성 및 보안 분석을 지원하기 위한 이벤트 체인(Event Chain) 기반의 LLM 가이드 워크플로를 제안한다. 이벤트 체인은 자동차 시스템에서 안전 메커니즘과 타이밍 요구사항을 구성하는 인과적, 시간적 및 데이터 흐름 관계를 구조화된 표현으로 제공한다. LLM 워크플로의 중심에 이벤트 체인을 내장함으로써 우리는 안전 논리가 필요로 하는 제약 조건들을 강제한다: 허용되는 신호 흐름, 안전 관련 단계의 시퀀싱, 종단 간 지연 예산 및 안전 비중요 요소와의 분리를 포함한 안전 비중요 요소들. 이벤트 체인은 LLM 출력을 제약하고 생성된 아티팩트에 안전하지 않거나 검증되지 않은 동작이 들어가는 것을 방지하는 형식화된 앵커로 작용한다.

이 프레임워크 내에서는 LLM이 전문적인 도메인 지식이 필요한 작업들을 자동화하는 데 도움을 준다: 텍스트 요구사항에서 후보 안전 메커니즘을 도출하거나 기능적 의도와 차량 신호 사양(VSS)을 정렬하고 잠재적인 위험 또는 비안전 상호작용을 식별하며, 초안 진단 또는 완화 메커니즘을 생성한다. 검색 강화 생성(RAG)은 LLM의 추론 범위를 인정된 VSS 카탈로그, 안전 매뉴얼 및 아키텍처 설명과 같은 신뢰할 수 있는 데이터 소스로 제한하여 환영 신호나 평가되지 않은 데이터 경로를 줄인다. 이를 통해 자동으로 생성된 모델은 안전 및 사이버 보안 심사에 필요한 권위있는 출처와의 추적 가능성을 유지한다.

이벤트 체인 모델과 LLM 간의 시너지는 기능적 안전성(예: 시간 예산 위반, 인과 체인 파괴, 누락된 안전 반응) 및 사이버 보안(예: 무단 신호 경로, 일관되지 않은 신뢰 경계 또는 예상치 못한 제어 영향력)에 대한 자동 사전 분석을 가능하게 한다. 코드가 타겟 플랫폼으로 배포되기 전에 ISO 26262 파트 6(소프트웨어 아키텍처 제약 조건) 및 ISO 21434(안전한 신호 및 인터페이스 처리)와 일치하는 일관성 검사를 수행한다. 결과적으로 LLM 생성 아티팩트는 더 신뢰할 수 있으며, 기존 안전 공학 워크플로에 직접 통합될 수 있다.

전반적으로 제안된 파이프라인은 자동차 코드의 안전 및 보안 분석 절차를 자동화하려는 시도로서 초기 디자인 단계에서의 노력 감소와 동시에 현대적인 안전 및 사이버 보안 요구사항을 충족하는 엄격함을 유지한다. 이를 증명하기 위해 우리는 물리적 테스트벤치와 시뮬레이션 플랫폼 기반의 ADAS 시나리오에 이 워크플로를 적용한다.

배경 및 관련 연구

Large Language Models (LLMs)은 자동차 시스템 개발 라이프사이클에서 안전성과 보안 문제를 해결하기 위해 점점 더 많이 통합되고 있다. 안전 관점에서 GPT-4와 CodeLlama는 적응형 크루즈 컨트롤(ACC) 등 기능에 대한 코드 공생성을 처리하고, 자동화된 평가 파이프라인을 사용해 빠른 예비 검증을 가능하게 하는 SIL 환경과 통합된다. 보안 측면에서는 STAF와 같은 전문 프레임워크는 GPT-4.1 및 DeepSeek-V3와 같은 LLMs를 RAG(Retrieval-Augmented Generation) 구조 내에서 통합하여 공격 트리로부터 자동으로 실행 가능한 보안 테스트 케이스를 도출한다. 또한 OpenAI의 Codex는 교통 신호 컨트롤러 및 AES 암호화 모듈과 같은 저수준 AV 하드웨어 구성 요소에 대한 시스템버릴로그 어설션(SVAs)을 생성하는데 사용되며, 전체적인 디자인 맥락이 제공될 때 성공률이 높아진다. 반면 HackerGPT와 같이 맞춤형 모델은 가상 CAN(CAN), 블루투스 인터페이스 및 키 폴 시스템을 대상으로 하는 사이버 공격 스크립트를 자동 생성하여 LLM의 이중 활용성을 보여주고, 강력하고 적극적인 자동차 보안 조치가 필요함을 강조한다.

이 논문에서는 ADAS 관련 코드의 타겟 플랫폼에서 실행되기 전에 악성 동작을 방지하는 보안 및 안전성을 중심으로 한다. 위협 또는 비안전 동작 위험이 감지되면 우리의 워크플로는 이를 제거하기 위한 교정 조치를 제안한다. 이러한 방법으로, 우리는 악성 코드가 환경에 미칠 수 있는 잠재적인 손상 리스크를 최소화하려 한다. 이 접근법은 이전 작업에서 관찰된 좋은 실천 사례를 기반으로 한다. 여기서는 LLM과 Eclipse Modeling Framework(EMF), Ecore, Object Constraint Language(OCL)와 같은 모델 중심 접근법을 결합하여 텍스트 요구사항에서 ADAS 시뮬레이션 코드를 Python으로 생성하는 통합 도구체인을 제시했다. 이 연구의 초점은 차량 구성(센서 및 액추에이터)과 환경적 측면(차량, 보행자 및 장애물 배치)이다. 개별 MDE 관련 단계의 구현 세부사항은 다른 논문에서 찾을 수 있다: 메타모델링, 인스턴스 모델 및 제약 조건 생성. 반면 이 논문에서는 LLM 지원 C++ 코드 생성 워크플로를 제시하며, SDV 존 ECU 내에서 물리적 테스트벤치에 사용되는 이벤트 체인을 통한 차량 동작 검증을 수행한다. 두 솔루션 모두 기존 n8n 워크플로 프레임워크를 통합 도구체인으로 활용하고 있다. 또한, 우리는 LLM 및 Vision Language Model(VLM)을 사용하여 SDV 코드와 테스트에서 환영 신호의 발생을 줄이는 VSS 인터페이스 사양 추출 방법을 보여주었다. 마지막으로 Retrieve and Re-Rank 방식을 기반으로 한 RAG를 활용하여 선택된 자동차 표준화 문서에 대한 LLM 기반 질문 응답을 가능하게 하였다.

참조 모델들 사용 사례
Nouri et al. CodeLlama, CodeGemma, DeepSeek-r1, DeepSeek-Coders, Mistral, GPT-4 안전과 관련된 ADAS/AD 시스템에 대한 코드 공생성 및 예비 평가 파이프라인. 4개의 자동차 기능을 포함해 적응형 크루즈 컨트롤(ACC)과 충돌 회피를 위한 피신 동작(CAEM).
Khule et al. GPT-4.1, DeepSeek-V3 공격 트리로부터 자동으로 실행 가능한 보안 테스트 케이스(Python 스크립트)와 Linear Temporal Logic(LTL) 속성을 파생하여 Security Test Automation Framework(STAF)를 사용한 자동차 보안 테스트.
Louati et al. OpenAI Codex (code-davinci-002) 교통 신호 컨트롤러, AES 암호화 모듈 및 레지스터 접근 제어 메커니즘을 포함한 자동차 하드웨어 서브시스템에 대한 formal security assertions(시스템버릴로그 어설션).
Usman et al. HackerGPT (fine-tuned GPT-based LLM) 가상 CAN(vCAN), 블루투스 시스템 및 원격 키리스 엔트리(RKE)/키 폴 시스템을 대상으로 자동차 시스템에 대한 사이버 공격 시뮬레이션과 실행을 위한 공격 스크립트의 자동 생성.

LLM 기반 자동차 보안 솔루션 요약

구현 개요

코드 분석 워크플로

제안된 접근법은 Retrieval-Augmented LLMs와 Model-Driven Engineering(MDE)를 통합하여 복잡한 SDV 시스템의 초기 개발 단계에서 안전하고 보안적인 시스템 설계를 지원한다. 목표는 관련 신호를 자동으로 추출하고 잠재적으로 위험하거나 비보안 이벤트 체인을 분석하며, 배포 전에 형식화된 디자인 규칙을 사용하여 검증하는 것이다. Fig. 1은 제안된 워크플로를 보여주며, 각 단계는 하나 이상의 번호가 부여된 요소에 해당한다.

LLM 지원 이벤트 체인 기반 자동차 산업 안전성 설계 워크플로

입력 준비 (1a/1b): 차량 신호 카탈로그(VSS)와 CAN 메시지 카탈로그(1a, 1b)는 권위적인 구조화된 진실의 소스(신호 이름, 범위, 메시지 ID, 의미론)이다. 이들은 해당 카탈로그 파서에 전달되어 코드 분석을 위해 사용될 적합한 기계 판독 가능한 신호/메시지 표현으로 변환된다. 이러한 두 카탈로그는 독점적이지 않으며, SDV 시스템의 다양한 부분에서 실행되는 프로그램은 다른 수준의 추상화를 사용할 수 있다. 고수준 추상화는 SDV 대상 미들웨어(commAPI)에서 VSS 기반 신호 표현 및 해당 핸들러가 자주 사용된다 (1a). 반면, 저수준 스크립트에서는 프로그램 내부에 직접 참조될 수 있는 CAN 메시지가 사용되기도 한다(1b).

RAG 기반 컨텍스트 구성 (2a/2b, 3): 실제로 VSS 카탈로그는 수천 개의 항목을 포함하며, 시스템 내에서 다양한 종류의 CAN 메시지 타입이 추가로 사용될 수 있어 LLM 컨텍스트를 초과하고 토큰 소비가 높아질 수 있다. 이를 해결하기 위해 RAG 계층을 활용하여 카탈로그와 이전 아티팩트를 색인화한다. 따라서 이후의 LLM 생성 결과는 구체적이고 최신 데이터에 기반하며, 제공된 SDV 구성 요소 구성 코드에 대해 RAG가 관련 컨텍스트를 검색하여 환영 신호를 줄인다.

VSS/CAN 메시지 추출 (4-8): 프롬프트 구성 1은 주어진 소스 코드에서 신호/메시지를 추출한다. VSS/CAN 추출은 현재 보안 분석에 관련된 신호/메시지 집합을 생성한다. 이를 위해 신호/메시지 검증기(규칙 기반 또는 형식적 체커)는 추출된 신호/메시지가 실제로 VSS/CAN 카탈로그에서 존재하고 예상되는 포맷과 값 범위에 부합하는지 확인한다. 이로 인해 악성 신호와 메시지 값을 가진 코드 및 구성은 실행되지 않는다. 검증된 신호 집합(Relevant VSS)이 이벤트 수준 추론의 입력으로 사용된다.

주어진 소스 코드 {code} 에서 VSS 신호와 CAN 메시지를 추출하고 있습니다.
각 단계의 신호/메시지에 대해, 이름, 유형, 값, 프로토콜을 포함한 항목을 추출합니다.

이벤트 체인 생성 (9-11): 반면, 프롬프트 구성 2는 코드의 이벤트 체인 기반 표현을 생성하여 비안전 또는 위험한 결과를 쉽게 식별할 수 있도록 한다. LLM(RAG 컨텍스트 포함)은 “CAN 메시지 X가 변조됨 → 액추에이터 명령 변경됨 → 차량 상태 위험 조건으로 이동"과 같이 구조화된 이벤트 체인을 출력한다. 이를 위해 이전 작업에서 사용했던 Event chain extraction 모듈은 LLM 텍스트를 기계 판독 가능한 이벤트 체인 표현으로 변환하며, PlantUML 활동 다이어그램 표기법을 사용한다.

주어진 소스 코드 {code} 에 기반하여 주어진 이벤트 체인 {current-event-chain} 을 업데이트하는 PlantUml 활동 다이어그램을 작성합니다.
{relevant messages/signals} 에 근거하여 각 이벤트 체인 단계에 대한 다음 매개변수를 노트로 표시합니다: 입력, 입력 형식, 출력, 출력 형식.

기능적 안전성 검증 (11-12): 이벤트 체인은 MDE 환경에서 상태 머신, 시퀀스 다이어그램, SysML/UML 또는 도메인 특화 모델과 같은 형식적인 모델로 표현된다. 우리의 경우 PlantUml 활동 다이어그램을 사용하며 이를 JSON 포맷으로 변환하여 규칙 검사를 수행한다. 이 JSON 표현 기반으로 체인 내에서 이벤트가 올바른 순서로 나타나도록 확인하여 기능적 안전성을 보장한다. “e_1 before e_2"와 같은 규칙이 주어지면, 이벤트 e_1은 반드시 이벤트 e_2보다 앞서야 한다. “after” 관계를 사용하는 경우에도 마찬가지로 적용된다. 이러한 기능/보안 규칙(Rule1 … RuleN)은 제약 조건으로 존재하며 MDE 도구는 이벤트 체인을 이러한 규칙에 대해 검증한다. 이러한 규칙들은 수동으로 정의되거나 LLMs도 사용될 수 있다(우리의 작업에서와 같이). 예를 들어 “가속 후 보행자"라는 규칙은 보행자가 감지되면 차량이 가속하지 않도록 하기 위한 것으로, 이 규칙이 검사되는 이벤트 체인 내에서는 참일 수 없다.

배포 및 테스트 (13-14): 검증된 아티팩트(코드를 SDV에 배포하기 전)는 MDE 환경에서 다시 검증된다. 이러한 방식으로 LLM 생성 코드가 안전하고 보안적으로 검증되며, 실제 타겟 플랫폼에 배포되기 전에 최종적인 검증을 거친다.


📊 논문 시각자료 (Figures)

Figure 1



Figure 2



Figure 3



Figure 4



감사의 말씀

이 글의 저작권은 연구하신 과학자분들께 있으며, 인류 문명 발전에 공헌해주신 노고에 감사를 드립니다.

검색 시작

검색어를 입력하세요

↑↓
ESC
⌘K 단축키