전문가 의견과 측정 데이터의 투명한 결합을 통한 결함 예측 산업 현장 사례 연구

초록

본 논문은 텔레콤 분야 실무에서 HyDEEP이라는 하이브리드 결함 예측 기법을 적용해, 전문가 의견과 측정 데이터를 투명하게 결합한 결과를 제시한다. 실험 결과, 순수 데이터 기반 방법에 비해 평균 MMRE 0.3이라는 낮은 상대 오차를 기록하며 통계적으로 유의미한 성능 향상을 보였다.

상세 분석

HyDEEP은 기존의 순수 데이터 기반 결함 예측 모델과 전문가 주관적 평가를 각각 독립적으로 활용한 뒤, 베이지안 네트워크와 가중 평균 방식을 통해 두 정보를 통합한다. 논문은 먼저 전문가 인터뷰와 설문을 통해 각 개발 아티팩트(코드 모듈, 설계 문서 등)의 결함 발생 가능성을 0~1 사이의 확률값으로 정량화하고, 동시에 전통적인 정량 지표(복잡도, 변경량, 이전 결함 수 등)를 수집한다. 이때 측정 데이터는 자동화된 정적 분석 도구와 버전 관리 시스템 로그에서 추출되며, 데이터 전처리 단계에서 결측값 보정과 정규화가 수행된다.

통합 단계에서는 전문가가 제공한 사전 확률을 베이지안 네트워크의 노드 초기값으로 설정하고, 측정 데이터 기반 회귀 모델(주로 랜덤 포레스트)을 통해 사후 확률을 업데이트한다. 가중치는 사전 실험을 통해 전문가 신뢰도와 데이터 신뢰도를 각각 0.6, 0.4로 설정했으며, 이는 도메인 특성에 따라 조정 가능하도록 설계되었다.

성능 평가에서는 MMRE(Mean Magnitude of Relative Error)와 PRED(0.25) 두 지표를 사용했으며, 비교 대상은 순수 랜덤 포레스트, 선형 회귀, 그리고 전문가 단독 평가였다. HyDEEP은 평균 MMRE 0.30을 기록했으며, 이는 데이터 전용 모델의 0.45, 전문가 단독의 0.52보다 현저히 낮다. 통계적 유의성 검증을 위해 Wilcoxon signed‑rank 테스트를 적용했을 때 p‑value가 0.01 이하로 나타나, 성능 차이가 우연이 아님을 확인했다.

또한, 투명성 측면에서 HyDEEP은 각 예측 결과에 대한 기여도 분석을 제공한다. 즉, 특정 아티팩트의 결함 확률이 높게 산출된 경우, 전문가 의견이 70% 이상 기여했는지, 혹은 측정 데이터가 주도했는지를 시각화된 리포트로 출력한다. 이는 QA 매니저가 자원 배분과 테스트 우선순위를 결정할 때 근거를 명확히 제시한다는 점에서 실무적 가치를 높인다.

위험 요소로는 전문가 의견의 주관성, 데이터 수집 비용, 그리고 베이지안 네트워크 구조 설계의 복잡성이 있다. 논문은 이러한 위협을 완화하기 위해 다중 전문가 합의 절차와 자동화된 데이터 파이프라인 구축을 권고하고 있다. 전반적으로 HyDEEP은 데이터와 인간 지식을 상호 보완적으로 활용함으로써, 기존 방법론이 놓치기 쉬운 ‘희소 결함’ 영역까지 포괄적인 예측을 가능하게 한다.