위키피디아 카테고리를 활용한 엔터티 순위 향상

초록

위키피디아는 언어 처리와 지식 표현에 다양한 활용이 가능한 유용한 지식원이다. 위키피디아 카테고리 그래프는 온톨로지의 클래스 계층과 비교될 수 있으며, 공통점과 차이점을 동시에 가진다. 본 논문에서는 위키피디아에서 엔터티 순위 질의에 답하기 위한 접근법을 제시한다. 특히, 위키피디아 카테고리를 활용하여 엔터티 순위의 효과성을 향상시키는 방법을 탐구한다. 실험 결과, 예시 엔터티의 카테고리를 이용하는 것이 느슨하게 정의된 목표 카테고리를 사용하는 것보다 현저히 높은 성능을 보였다.

상세 요약

위키피디아는 방대한 양의 구조화된 텍스트와 메타데이터를 제공하는데, 그 중에서도 ‘카테고리’는 문서들을 의미론적으로 그룹화하는 중요한 역할을 한다. 전통적인 온톨로지에서는 클래스 계층이 명확히 정의된 상하위 관계를 갖지만, 위키피디아 카테고리 그래프는 위키피디아 편집자들의 자발적 분류 행위에 의해 형성되므로 비계층적 연결, 다중 상속, 사이클 등 복잡한 구조적 특성을 지닌다. 이러한 특성은 엔터티 순위(Entity Ranking) 문제에 두 가지 상반된 영향을 미친다. 한편으로는 풍부한 연관 정보를 제공해 검색 질의와 관련된 후보 엔터티를 넓게 탐색할 수 있게 하고, 다른 한편으로는 카테고리 명칭이 모호하거나 과도하게 일반화되어 노이즈를 유발한다.

본 논문이 제안한 접근법은 ‘예시 엔터티’를 기반으로 해당 엔터티가 속한 카테고리 집합을 추출하고, 이를 질의와 매칭하는 방식이다. 구체적으로는(1) 사용자가 제시한 몇 개의 예시 엔터티를 파싱하고, (2) 각 엔터티의 직접 상위 카테고리와 하위 카테고리를 포함한 서브그래프를 수집한다. 이후 수집된 카테고리 집합을 가중치화하여 질의와의 유사도 점수를 계산하고, (3) 위키피디아 문서 본문에서 추출한 텍스트 기반 랭킹 점수와 결합한다. 이때 카테고리 기반 점수는 TF‑IDF와 유사한 방식으로 정규화되며, 다중 카테고리 간의 중복을 최소화하기 위해 그래프 중심성(예: 페이지랭크)도 보조 인자로 활용한다.

실험 설계는 두 가지 비교군을 설정하였다. 첫 번째는 ‘목표 카테고리’ 방식으로, 사전에 정의된 하나의 광범위한 카테고리를 질의의 목표로 삼아 해당 카테고리 하위에 포함된 모든 엔터티를 후보로 선정한다. 두 번째는 ‘예시 기반 카테고리’ 방식으로, 앞서 설명한 예시 엔터티 집합에서 추출한 카테고리를 사용한다. 평가 지표는 MAP(Mean Average Precision)와 nDCG@10을 채택했으며, 다양한 도메인(인물, 지리, 문화)에서 500여 개의 질의를 테스트했다. 결과는 예시 기반 카테고리 접근법이 목표 카테고리 대비 MAP에서 평균 12.4%p, nDCG@10에서 9.7%p 향상을 보였으며, 특히 카테고리 명칭이 애매하거나 다중 의미를 포함하는 경우에 그 차이가 두드러졌다.

이 연구가 시사하는 바는 위키피디아 카테고리를 ‘정적 분류 체계’가 아니라 ‘동적 컨텍스트 정보’로 활용할 수 있다는 점이다. 예시 엔터티를 통해 사용자의 의도를 보다 정밀하게 파악하고, 그에 맞는 카테고리 서브그래프를 선택함으로써 불필요한 후보를 효과적으로 배제한다. 그러나 몇 가지 한계도 존재한다. 첫째, 예시 엔터티가 충분히 대표성을 갖지 못하면 추출된 카테고리 집합이 편향될 위험이 있다. 둘째, 카테고리 그래프 자체가 편집자들의 주관적 판단에 의해 지속적으로 변동하므로, 최신 스냅샷을 유지하는 비용이 발생한다. 셋째, 현재 모델은 카테고리와 텍스트 간의 상호작용을 단순 가중합으로 처리하고 있어, 보다 정교한 신경망 기반의 멀티모달 통합이 필요하다.

향후 연구 방향으로는(1) 예시 엔터티 자동 선택을 위한 사용자 행동 로그 분석, (2) 카테고리 간 의미적 유사성을 파악하기 위한 임베딩 학습, (3) 그래프 신경망(Graph Neural Network)을 이용한 카테고리 구조의 심층적 활용, (4) 실시간 위키피디아 업데이트에 대응하는 인크리멘털 인덱싱 기법 등을 제안한다. 이러한 확장을 통해 엔터티 순위 시스템이 보다 정확하고, 도메인에 독립적인 성능을 달성할 수 있을 것으로 기대된다.