웹테스트파일럿: 자연어 사양을 위한 심볼화 GUI 기반 자동 테스트 에이전트

초록

WebTestPilot은 시각 언어 모델을 활용해 자연어 요구사항을 단계별 테스트 흐름으로 변환하고, GUI 요소를 심볼화해 전·후조건을 자동 생성한다. 이를 통해 암묵적인 오라클을 추론하고, LLM의 확률적 오류를 다중 시도·투표 방식으로 보완한다. 구축한 버그 주입 벤치마크에서 99%의 테스트 완료율과 96%의 정밀·재현율을 달성했으며, 실제 노코드 플랫폼에서도 8개의 실버 버그를 발견했다.

상세 분석

WebTestPilot은 기존 LLM 기반 E2E 테스트가 안고 있던 두 가지 근본적인 한계를 혁신적으로 해결한다. 첫 번째는 ‘암묵적 오라클 추론’ 문제이다. 대부분의 기존 시스템은 테스트 흐름이 정상 종료되면 성공으로 간주하거나, 각 상태를 독립적으로 검증한다. 그러나 실제 웹 애플리케이션에서는 “상품이 장바구니에 추가되었다”와 같은 기대는 이전 단계에서 선택한 상품명·수량·가격 등 과거 상태와의 연관성을 필요로 한다. WebTestPilot은 테스트 흐름을 (조건, 행동, 기대) 삼중 튜플로 파싱하고, 각 단계마다 사전·사후 조건을 형식화한다. 이를 위해 ‘심볼화 레이어’를 도입해 GUI 요소를 변수 형태의 심볼로 변환하고, 데이터, 시간, 인과 의존성을 추출한다. 예를 들어, 장바구니 아이콘의 카운트, 결제 버튼의 텍스트, 제품 상세 정보 등을 스키마 기반 Pydantic 모델로 정의하고, 이전·현재·다음 상태의 심볼 값을 매핑한다. 이렇게 얻어진 심볼은 도메인 전용 DSL에 의해 논리식(예: cart.items = prior.items ∪ {new_product})으로 변환돼 자동 오라클이 된다.

두 번째는 ‘확률적 추론’ 문제다. LLM은 동일 프롬프트에 대해 매 실행마다 다른 응답을 생성한다. 특히 다단계 테스트에서는 작은 오류가 누적돼 전체 흐름이 실패할 확률이 급격히 증가한다. WebTestPilot은 이를 완화하기 위해 ‘다중 재시도’와 ‘다중 후보 생성·다수결 투표’ 메커니즘을 적용한다. 하나의 단계에서 m개의 전·후조건 후보를 생성하고, 각 후보를 실제 UI 상태와 비교해 통과 비율을 측정한다. 사전 정의된 임계값을 초과하면 해당 단계는 성공으로 판단한다. 이 과정은 LLM의 불확실성을 통계적으로 평균화해 오라클의 신뢰성을 크게 높인다.

시스템 구현 측면에서, WebTestPilot은 Selenium/Playwright와 같은 기존 자동화 프레임워크 위에 레이어를 쌓아 GUI 스크린샷을 분석하고, OCR·시각 객체 탐지를 통해 버튼·텍스트·입력 필드 등을 식별한다. 식별된 요소는 ‘symbol table’에 저장되고, DSL 인터프리터가 이를 기반으로 논리식 평가를 수행한다. 또한, 테스트 흐름 전반에 걸친 ‘히스토리 버퍼’를 유지해 과거 심볼 값을 조회함으로써 시간적·인과적 의존성을 정확히 검증한다.

평가에서는 네 개의 오픈소스 웹앱에 110개의 자동 주입 버그를 삽입한 벤치마크를 구축했다. 비교 대상인 NaïveQAte, LaVague, PinATA와 대비해 WebTestPilot은 테스트 완료율 99%와 정밀·재현율 96%를 기록했으며, 특히 복합적인 데이터·시간 의존성을 요구하는 시나리오에서 기존 방법보다 70%·27% 높은 성능을 보였다. 모델 규모(3B~72B)와 입력 자연어의 잡음(오탈자, 문법 오류, 중복 문장 등)에도 강인한 일반화를 확인했다. 실제 산업 파트너와의 파일럿 적용에서는 개발 단계에서 8개의 버그(데이터 바인딩, UI, 네비게이션)를 발견해 테스트 효율성을 입증했다.

핵심 기여는 (1) 자연어 사양에서 암묵적 오라클을 자동 추출하는 최초의 방법론, (2) 심볼화와 DSL 기반 형식화된 전·후조건을 통해 LLM의 불확실성을 보완한 구현체, (3) 버그 주입 벤치마크와 실증적 평가를 제공한 점이다. 이 접근은 향후 LLM 기반 소프트웨어 검증을 보다 신뢰성 있게 확장하는 토대를 마련한다.