두 단계 크롤링으로 지연 표현을 효율적으로 보존하기

초록

본 논문은 JavaScript 등 클라이언트‑사이드 기술로 최종 화면이 동적으로 구성되는 ‘지연 표현(deferred representation)’을 기존 크롤러가 놓치는 문제를 해결하고자, 헤드리스 브라우저 PhantomJS와 전통적 크롤러 Heritrix를 결합한 2단계 크롤링 방식을 제안한다. 10 000개의 시드 URI를 대상으로 실험한 결과, Heritrix는 초당 2.065 URI로 가장 빠르지만 탐지 URI 수는 적고, PhantomJS는 속도가 느리지만 5.3 ×10⁵개의 URI를 발견해 완전성을 크게 높인다. 두 도구를 분류기 기반으로 조합하면, 순수 PhantomJS 대비 5.2배 빠르게 크롤링하면서도 Heritrix만 사용했을 때보다 1.8배 큰 프론티어를 확보한다.

상세 분석

이 연구는 웹 아카이빙에서 가장 큰 난제 중 하나인 ‘지연 표현’ 문제를 체계적으로 정량화하였다. 먼저 저자는 10 000개의 시드 URI를 Bitly 리다이렉션을 통해 무작위 추출하고, 이를 20개의 500개 세트로 나누어 wget, Heritrix, PhantomJS 각각 10회씩 동일 조건에서 크롤링하였다. 성능 지표는 초당 처리 URI 수(t_URI)와 프론티어 크기(|F|) 두 가지로 정의했으며, PhantomJS는 JavaScript 실행을 통해 동적으로 로드되는 리소스를 실제 브라우저와 유사하게 탐지한다. 실험 결과 Heritrix는 멀티스레드 설계와 JavaScript 비실행으로 12.13배 빠른 속도를 보였지만, 발견된 URI는 531 484개에 불과해 전체 웹 자원의 30 % 정도만 포착한다. 반면 PhantomJS는 0.170 URI/s라는 저속에도 불구하고 1 751 302개의 URI를 수집해 Heritrix 대비 1.75배, wget 대비 4.11배 많은 리소스를 확보한다.

핵심 통찰은 두 크롤러의 장단점을 보완하는 ‘두 단계’ 전략이다. 저자는 지연 표현 여부를 예측하는 머신러닝 기반 분류기를 제안했으며, 이 분류기가 ‘지연’이라고 판단한 페이지에만 PhantomJS를 적용하고, 나머지는 고속 Heritrix로 처리한다. 시뮬레이션 결과, 전통적인 단일 크롤링 방식에 비해 전체 크롤링 시간은 5.2배 단축되고, 프론티어 규모는 1.8배 확대된다. 이는 아카이브의 저장 비용을 최소화하면서도 완전성을 크게 향상시킬 수 있음을 의미한다.

또한 논문은 기존 연구와 차별화되는 점을 강조한다. 이전 작업들은 주로 검색 엔진 색인이나 RIA 모델링에 초점을 맞추었으나, 본 연구는 아카이빙 목적에 특화된 ‘완전성 vs 속도’ 트레이드오프를 실험적으로 측정한다. 다만, PhantomJS의 단일 스레드 제한과 타임아웃 설정에 따른 리소스 누락 가능성, 분류기의 오탐·누락이 전체 프론티어에 미치는 영향 등에 대한 한계도 명시한다. 향후 연구에서는 멀티인스턴스 헤드리스 브라우저 활용, 동적 타임아웃 최적화, 그리고 분류기 성능 향상을 위한 피처 엔지니어링이 필요하다.