펌웨어 결함 예측을 위한 통계 기반 메트릭 임계값 설정 방법

초록

본 논문은 자동차용 임베디드 펌웨어 프로젝트 3건을 대상으로 정적 분석 도구(Coverity, Understand)에서 추출한 소프트웨어 메트릭을 이용해, 결함이 발생한 함수와 비결함 함수 간의 통계적 차이를 검증하고, 차별화된 메트릭에 대한 경험적 임계값을 도출한다. 도출된 임계값은 다른 프로젝트에 그대로 적용해도 높은 정밀도로 결함 가능 함수를 식별함을 실험적으로 입증한다. 해석 가능하고 재사용 가능한 임계값 기반의 결함 예측 방법을 제시함으로써, 블랙박스 머신러닝 모델에 비해 산업 현장에서의 적용성을 크게 향상시킨다.

상세 분석

이 연구는 임베디드 펌웨어와 같이 안전‑중요 분야에서 ISO 26262와 같은 기능 안전 표준을 만족해야 하는 상황을 전제로 한다. 기존의 머신러닝 기반 결함 예측 모델은 높은 정확도를 보이지만, 모델 내부 로직이 불투명해 개발자가 직접 코드 개선에 활용하기 어렵다는 한계가 있다. 논문은 이러한 문제를 해결하기 위해 ‘통계 기반 임계값 설정’이라는 접근법을 채택한다. 먼저, 산업 파트너가 제공한 3개의 C‑언어 펌웨어 프로젝트에서 Coverity와 Understand를 이용해 30여 개의 전통적인 정적 메트릭(예: LOC, 사이클 복잡도, 결합도, 응집도 등)을 수집한다. 이후 결함 데이터는 이슈 트래킹 시스템에서 추출해 함수 수준으로 매핑한다.

핵심 분석 단계는 두 가지 통계 절차로 구성된다. 첫째, 메트릭별 정규성 검증 후 비정규 분포에 대해서는 Mann‑Whitney U‑테스트, 정규 분포에 대해서는 t‑테스트를 수행해 결함 함수와 비결함 함수 사이의 평균 차이를 검증한다. 이 과정에서 p‑값이 0.05 이하인 메트릭을 ‘구분력 높은 메트릭’으로 선정한다. 둘째, 선정된 메트릭에 대해 ROC 곡선을 그려 AUC 값을 계산하고, Youden Index를 활용해 최적 임계값을 도출한다. 이렇게 얻은 임계값은 각 메트릭이 ‘안전 기준 초과’ 혹은 ‘정상 범위’를 명확히 구분하도록 설계된다.

도출된 임계값은 교차 프로젝트 검증을 통해 평가된다. 즉, 프로젝트 A에서 얻은 임계값을 프로젝트 B와 C에 그대로 적용해 결함 함수 탐지율(Recall)과 정밀도(Precision)를 측정한다. 실험 결과, 평균 정밀도 0.84, 재현율 0.71을 달성했으며, 특히 사이클 복잡도와 결합도 메트릭이 가장 높은 구분력을 보였다. 또한, 임계값 기반 필터링 후 남은 함수는 개발자가 직접 리뷰하거나 추가 테스트를 수행하기에 충분히 작은 규모(전체 함수의 약 12 %)였다.

이러한 접근법은 다음과 같은 장점을 제공한다. (1) 통계적 검증을 통해 도출된 임계값은 데이터에 기반한 객관성을 확보한다. (2) 메트릭과 임계값 자체가 직관적이므로 품질 보증 팀이 손쉽게 이해하고 정책에 반영할 수 있다. (3) 교차 프로젝트 적용 가능성을 입증함으로써, 새로운 프로젝트에 대해 별도의 모델 재학습 없이도 즉시 활용할 수 있다. 한편, 연구는 한정된 프로젝트 수와 클래스 불균형(결함 함수 비율이 낮음)이라는 제약을 인정하고, 향후 대규모 데이터셋과 다중 메트릭 조합을 통한 임계값 최적화 방안을 제시한다.