클라우드 마이크로서비스 복원력 자동 테스트 프레임워크 Cast

초록

Cast는 생산 환경에서 마이크로서비스의 복원력을 자동으로 검증하는 프레임워크이다. 실시간 트래픽을 기록·재생하고, 애플리케이션 수준의 오류를 주입해 내부 오류 처리 로직을 테스트한다. 복잡도 기반 테스트 선택으로 조합 폭을 억제하고, 3단계 파이프라인과 다중 오라클을 통해 전 과정 자동화를 제공한다. 화웨이 클라우드에 8개월간 적용해 137개의 잠재적 취약점을 발견했으며, 48개 재현 버그 중 90%를 탐지했다.

상세 분석

Cast는 마이크로서비스 기반 클라우드 시스템의 복원력 테스트를 생산 환경 수준에서 실현하기 위해 네 가지 핵심 기술을 결합한다. 첫째, 트래픽 기록·재생 단계에서 OpenTelemetry와 유사한 분산 추적 정보를 수집하고, 동적 AOP 기반 Java 에이전트를 이용해 서비스 간 호출, 데이터베이스·메시지 브로커·캐시와 같은 인프라 연동을 무침없이 가로채어 상세 스팬을 기록한다. 여기서 중요한 점은 상태 의존 변수를 자동 식별하는 두 단계 히어리스틱이다. intra‑span 단계에서는 요청·응답 페이로드에 동일하게 등장하는 토큰을 후보로 잡고, inter‑span 단계에서는 동일 연산의 여러 인스턴스 간 값 변동을 비교해 진짜 동적 변수만을 추출한다. 이 접근법은 정적 분석에 비해 확장성이 뛰어나며, 프레임워크에 종속적인 코드 변경 없이 다양한 Java 기반 마이크로서비스에 적용 가능하게 만든다.

둘째, 복잡도 기반 테스트 선택 메커니즘은 수백만 건의 트레이스에서 중복되는 사용자 흐름을 클러스터링하고, 각 흐름의 호출 그래프 복잡도(노드·엣지 수, 의존도 깊이, 오류 발생 가능성 등)를 정량화한다. 복잡도가 높은 경로를 우선 순위로 두고, 동일 복잡도 내에서는 랜덤 샘플링을 적용해 테스트 수를 제한한다. 이렇게 하면 조합 폭이 기하급수적으로 증가하는 상황에서도 핵심 실패 전파 경로를 집중 탐색할 수 있다.

셋째, 애플리케이션 수준 오류 주입은 단순 네트워크 지연·패킷 손실이 아니라 서비스 로직에 직접적인 영향을 미치는 예외(예: 특정 비즈니스 검증 실패, 데이터 직렬화 오류, 서드파티 SDK 예외 등)를 포함한다. Cast는 사전 정의된 Fault Library를 통해 이러한 오류를 선언형으로 기술하고, 동적 변수와 연계해 상황에 맞는 파라미터를 자동 변환한다. 또한, 주입 대상 메서드와 시점(입력 전·후, 응답 직전 등)을 정밀하게 지정할 수 있어 복원력 로직(재시도, 서킷 브레이커, 폴백)까지 검증한다.

넷째, 전 과정 자동화 파이프라인은 시작(startup), 오류 주입(fault injection), 복구(recovery) 세 단계로 구성된다. 시작 단계에서는 재생 트래픽을 서비스 클러스터에 주입하고, 오류 주입 단계에서는 선택된 테스트 케이스에 맞춰 Fault Library의 오류를 삽입한다. 복구 단계에서는 오류를 해제하고 시스템이 정상 상태로 회복되는지를 관찰한다. 이 과정에서 Cast는 다중 오라클을 활용한다. 단순 HTTP 상태 코드 검증을 넘어, 서비스 내부 메트릭(에러 카운터, 회로 브레이커 상태), 로그 패턴, 데이터 일관성 검사 등을 종합해 ‘복원력 성공’ 여부를 자동 판단한다.

실제 적용 사례에서는 화웨이 클라우드에 배포된 4개의 대규모 애플리케이션(수백 개 마이크로서비스, 일일 수백만 건 트래픽)에서 137개의 잠재적 복원력 취약점을 탐지했으며, 개발자 검증을 통해 89건이 실제 버그로 확인되었다. 또한, 공개된 48개 재현 버그 세트에 대해 90% 탐지율을 기록, 기존 Chaos Engineering 도구 대비 높은 커버리지를 입증했다.

Cast가 제공하는 주요 장점은 높은 테스트 충실도, 실제 운영 환경과 동일한 워크로드 재현, 복잡도 기반 효율적 테스트 선택, 자동화된 전 과정 파이프라인, 그리고 다중 오라클을 통한 정밀 검증이다. 그러나 동적 변수 식별 정확도, Fault Library의 도메인 특화 필요성, 그리고 대규모 트레이스 저장·처리 비용 등 몇 가지 한계점도 논의된다. 향후 연구는 머신러닝 기반 변수 추출, 자동 Fault Library 확장, 그리고 멀티클라우드 환경에 대한 적용성을 탐색할 예정이다.