모델 기반 테스트 자동화, 자동차 네트워크 컨트롤러 사례 연구

초록

본 논문은 자동차 네트워크 컨트롤러를 대상으로 모델 기반 테스트(MBT)와 전통적인 수작업 테스트를 비교한다. 자동 생성된 MBT 테스트는 동일한 수의 수작업 MBT와 동등한 오류 탐지율을 보였으며, 모델을 사용한 테스트는 요구사항 오류 탐지에 유리함을 확인했다. 테스트 수를 6배 늘려도 오류 탐지율은 11%만 상승했으며, 모델 커버리지와 구현 C/D 커버리지는 서로 중간 정도의 양의 상관관계를 보였다.

상세 분석

이 연구는 모델 기반 테스트(MBT)의 실효성을 실증적으로 검증하기 위해, 최신 자동차 인포테인먼트 시스템에 사용되는 MOST(NetworkMaster) 컨트롤러를 대상으로 다양한 테스트 집합을 설계·실행하였다. 먼저, 요구사항 문서인 비공식 메시지 시퀀스 차트(MSC)를 기반으로 AUTOF​OCUS 도구를 이용해 실행 가능한 EFSM(Extended Finite State Machine) 모델을 구축했으며, 이 과정에서 요구사항의 모호성 및 누락을 발견하고 수정하였다. 모델은 17개의 컴포넌트, 100개의 채널, 138개의 포트, 12개의 EFSM, 16개의 제어 상태, 104개의 전이 등 복잡한 구조를 갖는다.

테스트 집합은 네 가지 축으로 구분된다. (1) 모델 없이 요구사항만을 기반으로 수작업으로 만든 전통적 테스트, (2) 모델을 활용해 수작업으로 만든 MBT 테스트, (3) 모델을 이용해 자동으로 생성된 MBT 테스트, (4) 모델과 무관하게 무작위로 생성된 테스트. 자동 생성 과정은 모델을 제약 논리 프로그래밍(CL​P) 형태로 변환하고, 테스트 케이스 사양(예: 커버리지 기준, 기능적 제약)을 추가해 가능한 모든 트레이스를 열거한다. 필요 시 추가 제약을 가하거나 무작위 샘플링을 적용한다.

실험 결과는 다음과 같다. 모델을 사용한 테스트는 요구사항 오류(요구사항 문서 자체의 결함) 탐지에서 모델 없는 테스트보다 현저히 높은 비율을 보였으며, 프로그래밍 오류(코드 결함) 탐지는 모델 사용 여부와 무관했다. 자동 생성된 MBT 테스트는 동일한 수의 수작업 MBT와 오류 탐지율이 동등했으며, 테스트 수를 6배 확대했을 때 탐지된 오류는 11%만 증가했다. 이는 테스트 수가 급증해도 한계점이 존재함을 시사한다. 또한, 자동 생성 테스트는 구현 C/D 커버리지는 높았지만 모델 커버리지는 낮았고, 수작업 MBT는 반대의 특성을 보였다. 모델 커버리지와 구현 C/D 커버리지는 중간 정도의 양의 상관관계를 보였으며, 특히 모델 C/D 커버리지는 오류 탐지와 강한 상관관계를 나타냈다. 그러나 높은 커버리지가 반드시 높은 오류 탐지율을 의미하지는 않았다.

이러한 결과는 MBT가 요구사항 수준의 결함을 조기에 발견하는 데 효과적이며, 자동화된 테스트 생성이 수작업과 동등한 품질을 제공할 수 있음을 보여준다. 그러나 자동화가 모든 비용을 절감하거나 오류 탐지를 극대화한다는 보장은 없으며, 테스트 목표(예: 구현 C/D 커버리지)와 테스트 사양 간의 정합성을 신중히 설계해야 한다는 교훈을 제공한다.