집중 웹 수집을 위한 간단 메커니즘

초록

본 논문은 웹 수집을 주제별로 집중화하기 위한 간단한 메커니즘을 제안한다. 목표 URL을 지정하고, 관리자가 직접 정의한 세 가지 수집 파라미터(깊이 스케일, 포커스 포인트 번호, 키워드 조합)를 활용해 최종 페이지와 그 안의 이미지·전체 텍스트 링크를 효율적으로 추출한다. 파라미터는 웹 인터페이스를 통해 각 기관 관리자에게 개방되어 맞춤형 수집이 가능하며, 인도네시아 과학 색인(Indonesian Scientific Index) 구축 사례를 통해 실제 적용 가능성을 보여준다.

상세 분석

이 연구는 기존의 전통적인 웹 크롤러가 페이지 전체를 무차별적으로 다운로드하고 인덱싱하는 방식에서 벗어나, ‘집중 웹 수집(focused web-harvesting)’이라는 개념을 도입한다. 핵심 아이디어는 수집 대상이 되는 웹 페이지 구조와 내용에 대한 사전 지식을 활용해 불필요한 데이터를 최소화하고, 필요한 정보만을 정확히 추출하도록 파라미터화된 수집 로직을 제공하는 것이다.

첫 번째 파라미터인 ‘깊이 스케일(depth‑scale)’은 시작 URL에서부터 최종 목표 페이지까지의 링크 깊이를 정의한다. 예를 들어, 학술 논문 리스트 페이지에서 개별 논문 상세 페이지까지 두 단계만을 탐색하도록 설정하면, 중간에 존재하는 광고나 부가 메뉴 페이지를 배제할 수 있다. 이는 크롤링 비용을 크게 절감하고, 서버에 대한 부하를 낮추는 효과를 가진다.

두 번째 파라미터인 ‘포커스 포인트 번호(focus‑point number)’는 최종 페이지 내에서 정보가 위치한 영역을 지정한다. 대부분의 학술 웹사이트는 논문 제목·저자·초록·키워드가 일정한 HTML 구조(예: div, table, span) 안에 배치된다. 관리자는 해당 구조의 인덱스 번호를 입력함으로써, 파싱 엔진이 정확히 그 영역만을 추출하도록 유도한다. 이는 페이지 레이아웃이 복잡하거나 다중 컬럼으로 구성된 경우에도 높은 정확도를 유지하게 만든다.

세 번째 파라미터인 ‘키워드 조합(keyword combination)’은 최종 페이지 내에서 이미지·전체 텍스트(Full‑text) 링크를 식별하기 위한 문자열 집합이다. 예를 들어 “PDF”, “Full Text”, “Download”와 같은 키워드를 미리 정의하면, 크롤러는 해당 키워드가 포함된 하이퍼링크만을 수집한다. 이는 비정형적인 링크 텍스트가 사용되는 경우에도 유연하게 대응할 수 있게 한다.

이 세 파라미터는 모두 웹 기반 관리 인터페이스를 통해 각 기관별로 개별 설정이 가능하도록 설계되었다. 관리자는 자신이 담당하는 데이터베이스의 특성에 맞춰 파라미터를 조정함으로써, 전역적인 크롤링 정책을 일관되게 적용하면서도 로컬 특수성을 반영할 수 있다.

기술적 구현 측면에서, 시스템은 크게 (1) URL 관리 모듈, (2) 파라미터 기반 수집 엔진, (3) 결과 정제 및 저장 모듈로 구성된다. URL 관리 모듈은 대상 사이트 리스트와 접근 권한을 저장하고, 주기적인 업데이트를 지원한다. 파라미터 기반 수집 엔진은 깊이 제한을 적용한 BFS 탐색 후, 포커스 포인트와 키워드 매칭을 수행한다. 이때 HTML 파싱은 경량화된 라이브러리를 사용해 DOM 트리를 최소화하고, 정규식 기반 키워드 매칭을 통해 속도와 메모리 사용량을 최적화한다. 최종적으로 추출된 메타데이터와 파일 링크는 관계형 데이터베이스에 저장되며, 검색 엔진에 인덱싱될 수 있도록 API 형태로 제공된다.

논문은 인도네시아 과학 색인(Indonesian Scientific Index, ISI) 구축 사례를 통해 실제 적용 결과를 제시한다. ISI는 인도네시아 전역의 대학, 연구기관, 정부 부처에서 생산되는 학술 논문·보고서·특허·데이터셋 등을 통합하는 플랫폼이다. 기존에 수작업으로 수집하던 방식을 자동화함으로써, 연간 30 % 이상의 인덱싱 속도 향상과 15 % 수준의 중복 데이터 감소를 달성했다. 또한, 파라미터 조정이 쉬워 현지 관리자들이 직접 새로운 데이터 소스를 추가하고, 오류 발생 시 즉시 수정할 수 있었다는 점이 강조된다.

이 메커니즘의 장점은 (1) 관리자가 직접 파라미터를 정의함으로써 도메인 지식을 시스템에 반영할 수 있다, (2) 불필요한 페이지를 배제해 네트워크 트래픽과 저장 비용을 절감한다, (3) 키워드 기반 링크 식별로 다양한 형식의 파일을 포괄적으로 수집한다는 점이다. 반면, 파라미터 설정이 부정확하거나 웹 페이지 구조가 급격히 변할 경우 수집 정확도가 급락할 위험이 있다. 따라서 지속적인 모니터링과 파라미터 업데이트가 필수적이며, 자동화된 구조 변동 감지 모듈과 결합한다면 더욱 견고한 시스템이 될 수 있다.

전체적으로 본 논문은 복잡한 머신러닝 기반 내용 분류 없이도, 인간 전문가의 사전 지식을 활용한 파라미터화된 수집 전략이 특정 도메인에서 효율적인 대안이 될 수 있음을 실증적으로 보여준다.