소프트웨어 메트릭 신뢰성 검증과 버전 변화 관계에 대한 실증 연구

초록

**
본 논문은 36가지 코드 메트릭을 19개의 Java 프로젝트(총 95개 버전)에서 측정하고, 메트릭의 신뢰성 및 버전 번호 변화와의 상관관계를 통계적으로 검증한다. 주요 결과는(1) 메트릭은 전반적으로 높은 신뢰성을 보이지만, 일부는 무작위 구조 변형에서도 유지돼 실제 아키텍처 특성을 반영하지 않을 수 있다, (2) Boolean형 메트릭은 마이너 버전에서 더 자주 값이 바뀌며, (3) 로컬 메트릭은 마이너 버전에서 변동이 크고, 글로벌 토폴로지 메트릭은 제한된 변화 범위 때문에 신뢰성이 과대평가될 수 있다 등이다.

**

상세 분석

**
이 연구는 소프트웨어 메트릭의 ‘신뢰성’이라는 가정을 정량적으로 검증하려는 시도로, 기존 연구에서 간과된 메트릭 변동의 원천을 두 가지 차원에서 탐구한다. 첫 번째는 자연스러운 진화 과정에서의 변동이며, 두 번째는 무작위 구조 교란(random perturbation) 상황이다.

데이터셋은 Qualitas Corpus에서 추출한 19개의 Java 아티팩트(예: javac, Ant, JUnit, Eclipse JDT 등)이며, 총 95개의 버전을 76개의 연속 버전 쌍으로 구성하였다. 각 버전은 타입(클래스)과 패키지, 그리고 타입 간 의존 관계를 나타내는 에지로 모델링된 유향 그래프 형태로 변환되었다. 메트릭은 크게 세 그룹으로 분류되었다.

1. Marker(또는 Boolean) 메트릭 – 존재/부재, 인터페이스 구현 여부 등 이진값을 반환한다.
2. Local Numeric 메트릭 – 개별 타입이나 패키지 수준에서 계산되는 수치(예: 메서드 수, 라인 수 등).
3. Global Topological 메트릭 – 전체 그래프 구조를 기반으로 하는 지표(예: 평균 경로 길이, 클러스터링 계수, 깊이 등).

통계 분석에는 Kendall’s τ, Pearson 상관계수, 그리고 신뢰도(리라이어빌리티) 측정을 위한 일관성 비율이 활용되었다. 특히 버전 번호 변화의 ‘카디널리티’를 정의해 메이저(1), 마이너(½), 패치(¼) 등으로 구분하고, 각 카디널리티와 메트릭 변동량 사이의 상관을 검증하였다.

핵심 발견은 다음과 같다.

• 전반적 높은 신뢰성: 대부분의 메트릭은 연속 버전 간 값이 거의 변하지 않아 90% 이상 일관성을 보였다. 이는 메트릭이 ‘신뢰할 수 있다’는 일반적 가정을 뒷받침한다.
• 무작위 교란에서도 유지되는 신뢰성: 글로벌 토폴로지 메트릭(예: 평균 연결도, 그래프 직경 등)은 구조를 무작위로 재배열해도 동일 수준의 일관성을 유지했다. 이는 이러한 메트릭이 실제 아키텍처 특성을 반영하기보다, 그래프 전체 규모(노드·에지 수)와 같은 제한된 요인에 의존한다는 의미다.
• Boolean 메트릭의 마이너 버전 민감도: 마이너 버전(카디널리티 ½)에서는 Boolean 메트릭이 값이 바뀌는 비율이 메이저 버전보다 현저히 높았다. 이는 마이너 릴리즈가 기능 추가·버그 수정 등 작은 변화를 많이 포함하지만, 설계 수준에서는 큰 구조적 변화를 동반하지 않아 이진 특성이 흔히 변한다는 해석을 가능하게 한다.
• Local Numeric 메트릭의 변동성: 로컬 메트릭은 마이너 버전에서 변동이 더 크게 나타났으며, 이는 라인 수·메서드 수 등 세부 구현이 마이너 릴리즈에서 활발히 수정된다는 것을 시사한다. 반면 메이저 버전에서는 구조적 리팩터링이 주를 이루어 로컬 메트릭의 변동이 상대적으로 적었다.
• 가정의 부분적 반증: ‘변경은 대부분 진화적이며, 큰 변화는 메이저 버전과 연관된다’는 가정은 전체적으로는 맞지만, ‘지역성(locality of change)’—즉 변경이 제한된 부분에 국한된다는 가정은 반증되었다. 평균적으로 17%의 타입이 들어오고 나가는 관계가 전혀 변하지 않았으며, 전체 타입·에지의 3~6%만이 사라지는 등 변화가 넓은 범위에 걸쳐 발생했다.

이러한 결과는 메트릭을 활용한 품질 예측·관리 시, 메트릭 종류와 버전 변화 맥락을 함께 고려해야 함을 강조한다. 특히 글로벌 토폴로지 메트릭을 아키텍처 품질 지표로 사용할 경우, 무작위 변동에 강인한 특성 때문에 실제 설계 결함을 포착하지 못할 위험이 있다.

**