예외 동작은 얼마나 자주 테스트되는가

초록

이 연구는 25개의 파이썬 오픈소스 프로젝트에서 테스트 실행 중 발생하는 예외를 동적으로 추적하여, 메서드 수준과 호출 수준에서 예외가 얼마나 자주 발생하고 테스트가 이를 얼마나 커버하는지를 정량적으로 분석한다. 전체 메서드의 21.4%가 실행 중 예외를 발생시키며, 예외를 발생시키는 메서드에서는 중위값 기준으로 10번 중 1번은 예외 상황을 실행한다. 대부분(≈80%)의 예외는 드물게 발생하지만, 약 20%는 빈번히 발생한다는 점을 밝혀냈다.

상세 분석

본 논문은 기존 연구가 테스트에 전파된(예외가 테스트 코드에서 직접 검증된) 예외에만 초점을 맞춘 반면, 테스트 내부에서 로컬하게 잡히고 전파되지 않는 예외까지 포함한 포괄적인 분석을 수행한다. 이를 위해 저자들은 SpotFlow라는 동적 트레이싱 도구를 활용해 25개의 파이썬 프로젝트(인기 라이브러리·프레임워크 포함)의 테스트 스위트를 계측하고, 메서드 호출·예외 발생·경로 실행 정보를 수집하였다. 총 5,372개의 실행된 메서드가 17.9 M번 호출되었으며, 이 중 1.4 M개의 예외가 발생했다.

RQ1에서는 메서드 수준에서 예외 발생 비율을 조사했으며, 21.4%인 1,150개의 메서드가 최소 하나 이상의 예외를 발생시켰다. 흥미롭게도 예외를 발생시키는 메서드는 예외가 없는 메서드에 비해 호출 횟수가 평균 4배, 실행 경로가 평균 3배 더 많았다(p < 0.05). 이는 예외가 복잡한 로직이나 다양한 입력 상황과 연관될 가능성을 시사한다.

RQ2에서는 예외를 발생시키는 메서드 내 개별 호출이 실제 예외를 일으키는 비율을 분석했다. 중위값 기준으로 예외를 일으키는 호출은 4건이며, 전체 호출 대비 비율은 10%에 해당한다. 즉, “10번 중 1번은 예외 상황을 경험한다”는 직관적인 수치를 제공한다. 저자들은 예외 발생 빈도를 기준으로 ‘희귀(≤10%)’, ‘가끔(>10% ≤ 50%)’, ‘보통(>50% < 90%)’, ‘거의 항상(≥90%)’ 네 그룹으로 분류했으며, 전체 메서드 중 50%가 ‘희귀’ 그룹에 속하고, 20% 정도가 ‘가끔’·‘보통·‘거의 항상’에 해당한다는 점을 발견했다.

RQ3에서는 시스템 별 차이를 살폈다. 25개 프로젝트 중 22개는 예외가 없는 메서드가 더 많았으며, 19개는 메서드당 예외 호출 비율이 30% 이하인 중위값을 보였다. 이는 대부분의 프로젝트가 예외를 드물게 발생시키는 로직을 포함하고 있음을 의미한다.

연구 결과를 바탕으로 저자들은 두 가지 실용적 함의를 제시한다. 첫째, 예외를 로컬하게 잡는 코드가 테스트에서 눈에 띄지 않으므로, 예외 발생을 자동으로 탐지하고 해당 경로를 명시적으로 테스트하도록 지원하는 도구가 필요하다. 둘째, 빈번히 실행되는 try/except 블록은 성능 비용을 초래할 수 있으므로, 호출 빈도 분석을 기반으로 리팩터링 기회를 제공하는 자동화 기법이 유용할 것이다. 또한, 예외 발생 자체가 ‘비정상’이라고 단정하기 어렵다는 점을 강조하며, 연구자들이 예외를 정상적인 흐름의 일부로 인식하고 테스트 설계에 반영해야 함을 역설한다.

전반적으로 이 논문은 동적 분석을 통해 실제 테스트 실행 시 발생하는 예외의 분포와 빈도를 정량화함으로써, 테스트 품질 향상과 코드 리팩터링을 위한 실증적 근거를 제공한다.