AI 기반 안전중요 시스템을 위한 요구공학·시각인식 검증 통합 프레임워크

본 논문은 AI가 핵심 역할을 하는 안전중요 시스템(항공, 자율주행 등)에서 발생하는 두 가지 근본적인 문제, 즉 AI 모델의 불투명성 및 고수준 요구사항과 저수준 신경망 입력 사이의 시맨틱 격차를 해결하기 위한 통합 프레임워크를 제안한다. 이를 위해 두 개의 상호 보완적인 모듈, REACT와 SemaLens를 설계·구현하였다. 1. **배경 및 문제 정의** - AI‑enabled 시스템은 전통적인 검증·검증(V&V) 방법으로는 포착하기 어려운 emergent behavior와 불확실성을 내포한다. - 요구공학 단계에서 자연어로 기술된 요구사항은 모호·불완전·일관성 결여가 빈번하며, AI 컴포넌트 특성을 반영하기 위해서는 확률·신뢰도·불확실성 등을 정량화해야 하는데 기존 도구는 이를 지원하지 못한다. - DNN 기반 인식 모듈은 픽셀‑레벨 입력을 처리하면서도 “보행자를 탐지한다”와 같은 고수준 요구와 직접적인 매핑이 어려워 요구사항 기반 테스트 커버리지를 정의하기 힘들다. 2. **REACT: 요구공학 자동화** - **Author**: LLM을 이용해 자유로운 자연어 요구를 제한 영어(Restricted English, RE) 형태의 다중 후보로 변환한다. 제한 영어는 문법이 엄격히 정의돼 있어 인간이 읽기 쉬우면서도 기계적 해석이 가능하도록 설계되었다. - **Validate**: 생성된 RE 후보들을 형식 검증 엔진에 입력해 의미적 차이를 자동으로 식별하고, 사용자는 차이점만을 확인·수정한다. 이는 인간‑인‑루프(HITL) 방식을 통해 AI 해석 오류를 최소화한다. - **Formalize**: 검증된 RE를 FRET와 연동해 LTLf 등 형식 논리로 자동 변환한다. 변환 과정에서 AI 특화 요구(불확실성, confidence threshold 등)를 표현할 수 있는 확장 논리도 지원한다. - **Analyze**: 형식화된 요구 집합에 대해 모델 체킹·SAT/SMT 솔버를 활용해 설계 단계에서 충돌·불일치를 탐지한다. 이는 비용이 큰 사후 수정 작업을 사전에 방지한다. - **Generate Test Cases**: 형식 요구를 기반으로 자동 테스트 시나리오를 생성하고, 각 테스트와 요구 사이의 추적성을 보장한다. 생성된 테스트는 SemaLens에 전달돼 시맨틱 테스트 영상으로 변환된다. 3. **SemaLens: 시각인식 검증·테스트** - **Monitor**: CLIP 기반 VLM을 이용해 이미지·비디오 시퀀스에서 개념(예: “보행자”, “교통표지”)과 공간·시간 관계를 추출한다. 추출된 개념을 LTLf와 결합해 논리식 평가를 수행, 실시간으로 요구사항 위반 여부를 판단한다. - **Img Generate**: 텍스트‑조건부 디퓨전 모델을 활용해 요구조건에 부합하는 합성 이미지·비디오를 자동 생성한다. 프롬프트에 “비오는 날, 저조도” 등 환경 변수를 포함해 시맨틱 다양성을 확보한다. - **Test**: VLM 임베딩과 텍스트 임베딩 간 유사도 기반 커버리지 메트릭을 정의한다. 이미지 집합이 특정 개념을 일정 임계값 이상 포함하면 해당 개념이 커버된 것으로 판단한다. 이를 통해 ODD(Operational Design Domain) 내 시맨틱 커버리지를 정량화한다. - **AED (Analyze, Explain, Debug)**: DNN의 내부 임베딩을 VLM 임베딩에 정렬시켜, 모델이 특정 클래스를 선택한 이유를 인간이 이해 가능한 개념(예: “metallic”, “rectangular”)으로 설명한다. 또한, 잘못된 분류 사례에 대해 어떤 개념이 오탐되었는지를 시각화해 디버깅을 지원한다. 4. **통합 파이프라인** - REACT가 생성·검증한 형식 요구와 테스트 시퀀스는 SemaLens에 입력돼 시맨틱 테스트 영상으로 변환된다. - SemaLens는 생성된 영상에 대해 모니터링·커버리지 평가를 수행하고, 결과를 REACT의 테스트 검증 단계에 피드백한다. - 이 순환 구조는 요구‑설계‑구현‑검증‑운영 전 단계에서 AI‑assisted 자동화와 인간 검증이 상호 보완적으로 작동하도록 설계되었다. 5. **표준 및 산업 적용** - 논문은 기존 항공 안전 표준인 DO‑178C를 기반으로 하면서, AI 특화 인증 가이드라인인 SAE G‑34와의 연계 가능성을 논의한다. REACT와 SemaLens는 DO‑178C의 요구‑테스트 추적성을 유지하면서도 AI 컴포넌트의 불확실성을 정량화·관리한다. 6. **결과 및 기대 효과** - 초기 요구 단계에서의 자동 일관성·충돌 검출은 설계 비용을 30% 이상 절감할 가능성을 시사한다. - 시맨틱 테스트 영상 자동 생성 및 VLM 기반 커버리지 측정은 기존 픽셀‑레벨 테스트 대비 의미적 결함 탐지율을 크게 향상시킨다. - AED 모듈을 통한 설명 가능성 제공은 인증기관 및 운영자에게 신뢰성을 제공해 AI‑enabled 시스템의 실용화 장벽을 낮춘다. 7. **한계 및 향후 연구** - 현재 VLM은 복잡한 공간 관계(예: “A가 B 뒤에 있다”)를 완벽히 파악하지 못한다는 점을 인정하고, 멀티모달 추론 모델의 향상을 기대한다. - LLM 기반 RE 변환 과정에서 발생할 수 있는 ‘hallucination’ 문제를 최소화하기 위한 검증 메커니즘 강화가 필요하다. - 실제 항공·자동차 프로젝트에 적용해 장기적인 신뢰성 데이터를 축적하고, 표준화 작업에 기여하는 것이 향후 목표이다. **요약**: 본 논문은 LLM과 VLM을 활용해 요구공학과 시각인식 검증을 AI 자체로 보완하는 REACT와 SemaLens라는 두 모듈을 제안한다. REACT는 자연어 요구를 제한 영어와 형식 논리로 자동 변환·검증하고 테스트 케이스를 생성한다. SemaLens는 VLM을 이용해 이미지·비디오를 시맨틱하게 분석·생성·모니터링하며, 커버리지와 디버깅을 지원한다. 두 모듈을 연계한 통합 파이프라인은 요구‑구현‑검증 전 과정을 자동화·추적 가능하게 하여, 기존 안전 표준을 보완하면서 AI‑enabled 시스템의 신뢰성을 크게 향상시킨다.