전문가 판단과 결함 데이터 결합으로 QA 효율성 예측

초록

본 논문은 데이터가 부족한 초기 단계 프로젝트에서 전문가 의견과 기존 결함 데이터를 융합해 결함량과 QA 효과성을 추정하는 하이브리드 모델을 제안한다. 우주 분야 소프트웨어 요구사항 분석 단계에 적용한 사례 연구 결과, 순수 데이터 기반 모델의 평균 상대오차(MMRE) 76.5% 대비 29.6%로 정확도가 크게 향상됨을 확인하였다.

상세 분석

이 연구는 소프트웨어 품질 보증(QA) 활동을 체계적으로 계획·통제하기 위해 두 가지 핵심 정보를 필요로 한다는 점에 주목한다. 첫째는 적용된 QA 기법의 효과성(efficacy)이며, 둘째는 검증 대상 아티팩트에 내재된 결함(content)이다. 기존 문헌에서는 과거 프로젝트의 방대한 측정 데이터가 전제돼야 통계적 모델이나 머신러닝 기법을 활용할 수 있었지만, 실제 산업 현장에서는 특히 프로젝트 초기 단계에서 이러한 데이터가 충분히 축적되지 않는다. 따라서 많은 기업이 전문가의 직관에 의존해 QA 일정을 수립하고, 실제 수행 과정에서도 경험적 판단에 의존한다는 한계가 있다.

논문은 이러한 현실적 제약을 극복하기 위해 ‘하이브리드 접근법’을 설계한다. 핵심 아이디어는 (1) 제한적인 결함 데이터—예를 들어 과거 몇 차례 프로젝트에서 수집된 요구사항 단계 결함 수와 검증 활동별 발견율—를 기본 베이스라인으로 활용하고, (2) 프로젝트 특성(복잡도, 팀 규모, 도메인 위험도 등)에 대한 전문가의 정성적 평가를 정량화하여 모델에 통합하는 것이다. 구체적으로는 베이즈 추정(Bayesian estimation) 프레임워크를 채택해 사전 확률(prior)로 전문가 의견을, 사후 확률(posterior)로 실제 결함 데이터와 검증 결과를 결합한다. 이렇게 하면 데이터가 희박할수록 전문가 판단이 모델에 더 큰 가중치를 갖게 되고, 데이터가 풍부해질수록 경험적 증거가 주도적으로 반영된다.

사례 연구는 독일 우주항공 분야의 ‘독립 검증·검증(IV&V)’ 프로젝트에 적용되었다. 대상은 고신뢰성 임무 소프트웨어의 요구사항 분석 단계이며, 기존에 축적된 결함 로그와 검증 활동(리뷰, 정적 분석, 테스트)의 효율성 지표가 제한적으로 제공되었다. 전문가 그룹은 도메인 엔지니어, QA 매니저, 시스템 아키텍트 등 7명으로 구성되었으며, 각자 ‘요구사항 복잡도’, ‘팀 경험 수준’, ‘안전 요구 수준’ 등에 대한 5점 척도 평가를 수행했다. 이 정성적 점수는 정규화 과정을 거쳐 베이즈 모델의 사전 분포에 매핑되었다.

모델 검증을 위해 교차 검증(k‑fold cross‑validation) 방식을 적용했으며, 비교 대상은 (a) 순수 데이터 기반 회귀 모델, (b) 전문가 의견만을 이용한 규칙 기반 추정 모델, (c) 기존 문헌에서 제시된 전통적인 결함 밀도 모델이었다. 결과는 하이브리드 모델이 평균 상대오차(MMRE) 29.6%를 기록해, 가장 정확한 데이터 기반 모델의 76.5%에 비해 약 2.5배 높은 예측 정확도를 보였다. 또한, 전문가 의견만을 사용한 모델은 MMRE 58%로 중간 수준의 성능을 나타냈으며, 이는 데이터와 전문가를 결합함으로써 얻는 시너지 효과를 입증한다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 제한된 결함 데이터만으로도 전문가 지식을 적절히 가중치화하면 실용적인 QA 계획 수립이 가능하다는 점이다. 둘째, 베이즈 프레임워크는 데이터와 전문가 의견 사이의 불확실성을 정량적으로 관리할 수 있어, 프로젝트 진행 단계에 따라 동적으로 모델을 업데이트할 수 있는 기반을 제공한다. 향후 연구에서는 다른 개발 단계(설계, 구현, 테스트)로 모델을 확장하고, 자동화된 설문 도구와 실시간 결함 추적 시스템을 연계해 사전·사후 정보를 실시간으로 반영하는 방안을 모색할 필요가 있다.