AI 기반 자동화 기능을 위한 통합 안전 평가 프레임워크 필요성

초록

본 논문은 AI가 적용된 인식·판단 모듈이 품질관리(QM) 등급으로 분류되더라도 SOTIF 위험을 야기할 수 있음을 밝히고, ISO 26262, ISO 21448 및 ISO/PAS 8800을 연계한 전반적 안전 분석 프레임워크 도입의 필요성을 제시한다.

상세 분석

본 논문은 전통적인 기능안전(FuSa)과 의도된 기능안전(SOTIF) 사이의 경계가 AI 기반 컴포넌트에 의해 흐려지는 현상을 체계적으로 분석한다. FuSa는 ISO 26262에 따라 고장·오류를 중심으로 위험을 평가하고, ASIL 등급을 부여한다. 반면 SOTIF는 ISO 21448이 제시하는 기능적 불완전성, 오용, ODD(운용 설계 영역) 외부 상황 등을 포함한다. 논문은 QM(품질관리) 등급으로 분류된 AI 모듈이 하드웨어·소프트웨어 고장이 없더라도 학습 데이터 편향, 모델 불확실성, 경계 상황에서의 오인식 등으로 SOTIF 위험을 초래할 수 있음을 사례 중심으로 증명한다. 특히 저수준 인식(LLP) 단계에서 CNN 기반 특징 추출기가 조명·날씨·센서 노이즈에 민감하게 반응하면, 상위 레벨 인식(HLP) 및 제어 로직에 잘못된 입력을 전달해 차량의 제동·조향 명령을 오작동시킬 위험이 존재한다. 이러한 위험은 기존 FuSa 절차에서는 “QM”으로 취급되어 검증이 생략되지만, SOTIF 관점에서는 위험도(C>0 또는 S>0) 평가 대상이 된다.

논문은 STPA(System‑Theoretic Process Analysis)를 활용해 컨트롤러·센서·인간·환경 간의 상호작용을 모델링하고, 위험한 제어 행동(Unsafe Control Action, UCA)을 도출한다. 이를 통해 QM 등급 AI 컴포넌트가 시스템 전체 안전에 미치는 영향을 정량·정성적으로 파악한다. 또한 ISO/PAS 8800이 제시하는 AI 안전 라이프사이클(데이터 관리, 모델 검증, 지속적 모니터링 등)을 FuSa와 SOTIF 절차에 통합하는 방법을 제시한다. 위험 완화 전략으로는 데이터셋 다양성 확보, 경계 상황 시뮬레이션 기반 검증, 런타임 모니터링 및 비상 차단 메커니즘을 포함한다.

핵심 인사이트는 다음과 같다. ① QM 등급 AI 컴포넌트도 SOTIF 위험을 내포할 수 있다. ② 기존 FuSa와 SOTIF를 별도 적용하는 것이 아니라, AI 특성을 반영한 통합 프레임워크가 필요하다. ③ STPA와 ISO/PAS 8800을 결합하면 위험 식별·완화가 보다 체계적이며, 규제 대응력도 강화된다. 이러한 통합 접근법은 향후 고자율주행 레벨 3·4 시스템에서 안전 보증을 실현하는 핵심 기반이 될 것이다.