크롤링 기반 웹 애플리케이션 테스트를 위한 입력 토픽 자동 식별

초록

본 논문은 웹 폼의 텍스트 입력 필드에 대해 사전 정의된 규칙이 아닌, 라벨링된 코퍼스와의 의미 유사도 비교를 이용해 자동으로 토픽(예: 아이디, 비밀번호, 이메일 등)을 식별하는 방법을 제안한다. 100개의 실제 웹 폼을 대상으로 실험한 결과, 제안 기법은 기존 규칙 기반 방법과 비슷한 정확도를 보였으며, 두 방법을 결합하면 규칙 기반의 정확도가 최대 19%까지 향상됨을 확인하였다.

상세 분석

이 논문은 웹 애플리케이션 테스트 자동화에서 가장 빈번히 사용되는 크롤링 기반 접근법의 한계점을 정확히 짚어낸다. 기존 크롤러는 입력 필드의 토픽을 식별하기 위해 정규식, 키워드 매칭 등 수작업 규칙을 사용한다. 이러한 규칙은 도메인마다 차이가 크고, 새로운 폼이 등장하면 재작성해야 하는 유지보수 비용이 크게 증가한다는 문제가 있다. 또한, 여러 규칙이 동시에 매칭될 경우 충돌을 해결하기 위한 우선순위 설정이 필요하지만, 이는 경험에 의존하는 주관적 판단이 개입되기 쉬워 정확성을 저해한다.

논문은 이러한 문제를 해결하기 위해 자연어 처리(NLP) 기반의 의미 유사도 측정 방식을 도입한다. 구체적으로, 먼저 라벨링된 코퍼스를 구축한다. 코퍼스는 각 입력 필드에 “login id”, “password”, “email”, “date”, “phone number” 등 사전에 정의된 토픽 라벨이 부착된 실제 웹 폼 데이터로 구성된다. 각 필드의 라벨은 인간 전문가가 직접 검증했으며, 코퍼스 규모는 100개의 다양한 도메인(은행, 전자상거래, 교육 등)에서 수집된 2,500여 개의 입력 필드로 이루어진다.

다음 단계는 입력 필드의 텍스트(주로 레이블, placeholder, aria-label 등)와 코퍼스 내 필드 텍스트 사이의 의미적 유사도를 계산하는 것이다. 이를 위해 논문은 Word2Vec 기반 임베딩을 사용했으며, 각 텍스트를 토큰화한 뒤 평균 벡터를 구해 문장 수준 임베딩을 만든다. 이후 코사인 유사도를 적용해 가장 높은 유사도를 보이는 코퍼스 항목을 찾고, 해당 항목의 라벨을 현재 필드의 토픽으로 추정한다.

핵심 기술적 기여는 두 가지이다. 첫째, 라벨링된 코퍼스를 활용해 도메인 독립적인 토픽 식별 모델을 구축함으로써 규칙 기반 접근법의 유지보수 부담을 크게 낮춘다. 둘째, 다중 매칭 상황에서 가장 높은 의미 유사도를 가진 후보를 자동으로 선택함으로써 충돌 해결을 데이터‑드리븐 방식으로 전환한다.

실험 설계는 100개의 실제 웹 폼을 대상으로 두 가지 비교를 수행한다. (1) 순수 규칙 기반 방법의 정확도, (2) 제안된 의미 유사도 기반 방법의 정확도, (3) 두 방법을 결합한 하이브리드 모델의 정확도. 결과는 의미 유사도 기반 방법이 규칙 기반과 2~3% 수준의 차이로 비슷한 성능을 보였으며, 하이브리드 모델은 최대 19%까지 정확도가 상승함을 보여준다. 특히, 라벨이 모호하거나 규칙이 적용되지 않는 경우(예: “User ID”와 “Member Number”가 혼용된 필드)에서 의미 기반 접근법이 큰 이점을 제공한다.

한계점으로는 코퍼스 품질에 크게 의존한다는 점이다. 코퍼스가 충분히 다양하고 최신 웹 폼을 반영하지 못하면 의미 유사도 계산이 부정확해질 수 있다. 또한, Word2Vec 임베딩 대신 최신 Transformer 기반 모델(BERT, RoBERTa 등)을 적용하면 더 높은 정밀도를 기대할 수 있지만, 계산 비용이 증가한다는 트레이드오프가 존재한다.

종합하면, 이 논문은 웹 폼 입력 토픽 식별 문제를 규칙에서 데이터‑드리븐으로 전환하는 실용적인 방법론을 제시하며, 실제 테스트 도구에 쉽게 통합될 수 있는 설계와 구현을 제공한다. 향후 연구에서는 코퍼스 자동 확장, 다중 언어 지원, 그리고 더 정교한 문맥 기반 임베딩을 도입해 정확도와 확장성을 동시에 개선할 여지가 있다.