REST API 퍼징에서 플라키 테스트 탐지와 완화 방안

본 논문은 REST API 퍼징 과정에서 발생하는 플라키(불안정) 테스트 문제를 체계적으로 탐구하고, 이를 탐지·완화하기 위한 새로운 접근법인 FlakyCatch를 제안한다. 연구 동기는 산업 현장에서 테스트 플라키가 CI/CD 파이프라인의 신뢰성을 저해한다는 점이며, 기존 연구는 주로 단위·통합 테스트에 초점을 맞추어 시스템 수준, 특히 REST API와 같은 상태 기반 서비스에 대한 플라키 연구는 부족했다는 점이다. 연구는 두 개의 핵심 질문(RQ1, RQ2)을 설정한다. RQ1은 “REST API에서 화이트박스와 블랙박스 퍼징 테스트가 얼마나 자주 플라키를 보이는가?”이며, RQ2는 “플라키의 주요 원인은 무엇인가?” 이를 위해 저자들은 EvoMaster라는 최신 REST API 퍼징 도구를 선택했다. EvoMaster는 블랙박스 모드(스키마 기반 무작위 테스트)와 화이트박스 모드(코드 커버리지 기반 진화 알고리즘)를 모두 지원한다. 두 모드 모두 36개의 실제 오픈소스 REST API에 적용했으며, 각각 두 가지 런타임 환경(예: Docker 컨테이너와 로컬 VM)에서 실행했다. 실험 결과, 31개의 API(86%)에서 플라키 테스트가 관찰되었으며, 화이트박스 모드가 블랙박스보다 더 높은 플라키 비율을 보였다. 이는 화이트박스가 내부 상태와 데이터베이스 트랜잭션을 더 깊게 탐색함으로써 숨겨진 비결정성을 드러내기 때문이다. 또한, 동일 API라도 런타임 환경에 따라 플라키 발생 빈도가 달라졌는데, 이는 환경 의존성이 플라키에 큰 영향을 미친다는 것을 시사한다. 플라키 원인 분석을 위해 저자들은 약 3,000개의 실패 테스트를 수작업으로 라벨링하고, 9가지 카테고리로 분류했다. 주요 카테고리는 다음과 같다. 1) 런타임 환경 변동(예: 포트 충돌, 컨테이너 재시작), 2) 무작위값 의존(난수, UUID), 3) 상태 의존 리소스(데이터베이스 레코드, 세션), 4) 시간 의존(현재 시각, 타임스탬프), 5) 동시성·잠금 문제, 6) 외부 서비스 응답 변동(서드파티 API), 7) 데이터베이스 트랜잭션 롤백, 8) 직렬화·역직렬화 오류, 9) 테스트 자체 구현 버그. 특히 ‘런타임 환경 변동’과 ‘무작위값 의존’이 전체 플라키의 절반 이상을 차지했으며, 이는 API 설계 시 비결정성을 명시적으로 제어하지 않은 경우가 많다는 점을 강조한다. 이러한 인사이트를 바탕으로 제안된 FlakyCatch는 두 단계 탐지 메커니즘을 갖는다. 첫 단계는 동일 테스트를 다중 재실행(기본 5회)하여 성공/실패 비율을 측정하고, 일정 임계값을 초과하면 플라키 후보로 표시한다. 두 번째 단계는 경량 정적·동적 분석을 수행해 앞서 정의한 플라키 원인 중 ‘무작위·시간 의존’과 ‘환경 변동’ 등을 자동으로 식별한다. 탐지된 플라키 테스트에 대해서는 자동으로 ‘플라키 마스크’를 적용한다. 예를 들어, 난수 생성 호출을 고정 시드로 교체하거나, 타임스탬프 검증을 허용 오차 범위 내로 완화한다. 또한, 재시도 래퍼를 삽입해 테스트 실행 시 일정 횟수까지 자동 재시도를 수행하도록 함으로써 일시적인 실패를 억제한다. FlakyCatch의 효과는 RQ3을 통해 검증되었다. 실험에서는 화이트박스와 블랙박스 모두에서 플라키 테스트를 92% 이상 정확도로 탐지했으며, 테스트 스위트 전체 실패율을 평균 78% 감소시켰다. 특히, 무작위 의존 테스트의 경우 재시도와 시드 고정만으로 95% 이상의 안정성을 달성했다. 또한, FlakyCatch는 기존 테스트의 코드 커버리지와 기능적 행동을 유지하면서 플라키를 제거했으며, 이는 테스트 유지보수 비용을 크게 낮출 수 있음을 의미한다. 논문의 주요 기여는 다음과 같다. (1) REST API 퍼징에서 플라키 현상의 실증적 빈도와 특성을 최초로 제시, (2) 9가지 플라키 원인 분류 체계와 라벨링된 데이터셋 공개, (3) 재실행 기반 탐지와 경량 추론을 결합한 FlakyCatch 설계·평가, (4) 실험적 증거를 통해 플라키 탐지·완화가 테스트 안정성에 미치는 긍정적 영향을 입증. 마지막으로, 연구에서 제공하는 데이터와 도구는 향후 플라키 예측 모델, 자동 복구 기법, 그리고 산업 현장 CI 파이프라인에 직접 적용 가능한 기반을 제공한다.