웹 메타데이터 추출 및 정보 검색을 위한 에이전트 기반 접근

초록

본 논문은 웹 페이지의 메타데이터를 자동으로 추출하고, 의미 모델링을 통해 지식 기반 검색을 가능하게 하는 에이전트 기반 프레임워크를 제안한다. 기존의 전체 텍스트 검색이 의미를 충분히 파악하지 못하는 문제를 해결하기 위해, 다중 에이전트가 협업하여 구조화된 메타데이터를 생성하고, 이를 온톨로지와 연계한 정보 검색 엔진에 전달한다. 실험 결과, 제안 시스템은 검색 정확도와 응답 시간을 모두 향상시켰으며, 다양한 도메인에 적용 가능함을 보였다.

상세 요약

이 논문은 웹 정보 검색 분야에서 장기적으로 제기되어 온 “전통적인 키워드 기반 검색이 의미를 충분히 포착하지 못한다”는 문제를 근본적으로 재설계한다. 핵심 아이디어는 에이전트 기반 아키텍처를 도입해 메타데이터 추출, 의미 모델링, 그리고 검색 과정을 각각 독립적인 모듈로 분리하고, 이들 간의 상호작용을 명시적인 프로토콜로 정의한다는 점이다.
첫 번째 레이어는 수집 에이전트(Crawler Agent) 로, 웹 페이지를 크롤링하면서 HTML 구조, 메타 태그, 스키마 마크업 등을 분석한다. 기존 크롤러와 차별화되는 점은 페이지 내 텍스트와 시각적 레이아웃을 동시에 고려해, 숨겨진 의미 단위(예: 캡션, 리스트 아이템)를 식별한다는 것이다.
두 번째 레이어는 추출 에이전트(Extraction Agent) 로, 자연어 처리(NLP) 파이프라인을 활용해 명사구, 동사구, 관계어 등을 추출하고, 이를 RDF 트리플 형태의 메타데이터로 변환한다. 여기서는 특히 의미 롤 라벨링(SRL) 과 개체명 인식(NER) 을 결합해, 도메인 독립적인 온톨로지 스키마에 매핑한다.
세 번째 레이어는 모델링 에이전트(Modeling Agent) 로, 추출된 트리플을 기존 온톨로지(예: FOAF, Dublin Core, Schema.org)와 정렬하고, 필요 시 새로운 클래스와 속성을 동적으로 생성한다. 이 과정에서 본능적 의미 일관성 검사(Consistency Check) 와 중복 제거(Deduplication) 를 수행해 메타데이터의 품질을 보장한다.
네 번째 레이어는 검색 에이전트(Retrieval Agent) 로, 사용자가 입력한 자연어 질의문을 의미 분석하여 온톨로지 기반의 쿼리 그래프 로 변환한다. 변환된 쿼리는 SPARQL 엔진에 전달되어, 메타데이터 레포지터리에서 의미적으로 일치하는 리소스를 반환한다. 기존의 키워드 매칭 방식과 달리, 이 시스템은 관계 기반 매칭(Relation‑Based Matching) 을 수행해, “서울에 위치한 대학 중 2020년 연구 논문이 100편 이상인 곳”과 같은 복합 질의도 정확히 처리한다.
시스템 구현에서는 JADE(Java Agent DEvelopment Framework) 를 기반으로 에이전트 간 메시징을 표준 ACL(Agent Communication Language) 형태로 정의했으며, Apache Jena 를 이용해 RDF 저장소와 SPARQL 엔진을 구축하였다. 실험에서는 5개의 공개 도메인(학술, 전자상거래, 의료, 여행, 뉴스)에서 10,000개 이상의 웹 페이지를 대상으로 메타데이터 추출 정확도, 온톨로지 매핑 정밀도, 검색 재현율을 평가했다. 결과는 기존 텍스트 기반 검색 대비 평균 정밀도 18%, 재현율 22% 향상을 보였으며, 메타데이터 생성 평균 지연 시간은 1.3초로 실시간 서비스에 충분히 적용 가능함을 입증했다.
이 논문의 주요 공헌은 (1) 에이전트 기반 모듈화 설계로 확장성과 유지보수성을 확보한 점, (2) 구조화된 메타데이터와 온톨로지를 통한 의미 기반 검색 프레임워크를 제시한 점, (3) 다양한 도메인에 적용 가능한 자동화된 메타데이터 생성 파이프라인을 구현한 점이다. 다만, 온톨로지 확장 시 인간 전문가의 개입이 필요하고, 고도로 동적인 웹 콘텐츠(예: SPA)에서는 크롤링 비용이 증가할 수 있다는 제한점도 언급한다. 향후 연구에서는 강화 학습 기반 에이전트 를 도입해 메타데이터 품질을 지속적으로 개선하고, 분산형 블록체인 저장소 와 연계해 메타데이터의 무결성과 신뢰성을 강화하는 방안을 제시한다.