안전 핵심 머신러닝 시스템 품질보증의 미해결 과제 탐구

초록

본 논문은 자동운전 차량을 사례로 삼아, 안전‑핵심 머신러닝 시스템의 품질보증(QA)에서 현재 직면하고 있는 주요 미해결 문제들을 체계적으로 정리하고, 이를 시스템‑하위시스템‑모델 3계층과 설계‑검증‑운영 3단계라는 두 축으로 분류한다. 운영 설계 영역(ODD) 정의, 시나리오 수집·시뮬레이션, 불확실성 정량화, 표준화된 테스트·검증 프레임워크, 데이터 분포와 성능 지표의 다각화 등 다양한 분야의 지식이 결합돼야 함을 강조한다.

상세 분석

이 논문은 안전‑핵심 머신러닝 시스템, 특히 인‑차량 자동운전 시스템을 대상으로 QA(품질보증) 체계가 아직 성숙하지 못한 현황을 진단한다. 저자는 시스템을 ‘인‑차량 자동운전 시스템’, ‘하위시스템’, ‘머신러닝 모델’이라는 3계층으로 구분하고, 각각을 설계(요구사항·사양), 검증(검증·검증 포함), 운영(유지·보수)이라는 3단계에 매핑한다. 첫 번째 계층인 전체 시스템 수준에서는 운영 설계 영역(ODD) 정의와 실제 도로에서 수집된 시나리오의 양·질 관리가 핵심 과제로 제시된다. 현재는 수천~수만 개의 시나리오를 수집하는 것이 큰 부담이며, 시나리오 커버리지를 정량화할 테스트 기준도 부재하다. 이를 해결하기 위해 독일 PEGASUS 프로젝트를 사례로 들며, 기능·논리·구체 시나리오의 3단계 추상화를 통한 표준화된 시나리오 데이터베이스 구축과 시뮬레이션 기반 검증 흐름을 제안한다.

두 번째 계층인 하위시스템에서는 머신러닝 모델이 내포하는 불확실성을 통계적 지표로 표현하고, 전통적인 소프트웨어 엔지니어링 기법(예: STAMP/STPA, SOTIF)과 결합해야 함을 강조한다. 특히 ‘Change Anything Change Everything(CACE)’ 현상을 완화하기 위해 중복·다양성 아키텍처, 규칙 기반 안전 가드, 모델‑독립적인 시스템 수정 패턴 등을 제시한다. 검증 단계에서는 모델 학습 이전에 시스템 수준에서 불확실성 흡수 여부를 사전 검증하는 방법이 필요하다고 주장한다.

세 번째 계층인 머신러닝 모델 자체에서는 테스트 데이터와 운영 데이터의 분포 차이를 명시적으로 설계해야 한다는 점을 강조한다. 기존에는 무작위 분할에 의존했지만, 안전‑핵심 시스템에서는 운영 환경을 반영한 테스트 데이터셋을 사전 정의하고, 각 환경별 혼동 행렬(정확도)과 함께 시간·날씨·조도 등 메타데이터를 포함시켜야 한다. 또한 정확도 외에도 메모리·실행 시간·견고성·해석 가능성·테스트 용이성 등 소프트웨어 품질 모델에 기반한 다중 성능 지표를 도입해야 한다. 재현성을 확보하기 위해 모델 구조, 학습 데이터, 하이퍼파라미터, 난수 시드 등 전체 학습 파이프라인을 기록·관리하는 메타데이터 체계가 필요하다.

전반적으로 논문은 QA가 단순히 모델 성능 검증을 넘어, 시스템 전체의 위험 관리, 표준화된 시나리오 기반 검증, 불확실성 정량화, 지속적인 데이터 수집·갱신 메커니즘을 포괄해야 한다고 주장한다. 이를 위해 자동차 산업, 통계학, 소프트웨어 공학, 머신러닝 등 다학제적 협업이 필수이며, 현재 진행 중인 PEGASUS와 같은 국제 표준화 프로젝트가 향후 방향성을 제시한다는 점을 강조한다.