위키와 유전 프로그래밍을 활용한 자동 쿼리 학습

초록

본 논문은 기존의 단어 기반 검색 모델을 넘어 위키피디아의 개념 정보를 활용해 쿼리를 자동으로 생성·진화시키는 Wiki‑ES 프레임워크를 제안한다. 개념 기반 쿼리는 인간·사회 수준의 지식을 내포함으로써 Reuters 뉴스 데이터셋에서 토큰 기반 시스템 대비 현저한 검색 성능 향상을 보였다.

상세 분석

이 연구는 정보 검색(IR) 분야에서 ‘토큰‑기반’ 접근법이 갖는 한계를 명확히 지적한다. Bag‑of‑Words 모델은 문서와 질의 간의 표면적 단어 일치를 기반으로 하기 때문에 동의어, 다의어, 개념적 연관성을 포착하지 못한다. 저자들은 이러한 문제를 해결하기 위해 위키피디아를 외부 지식 베이스로 활용한다. 위키피디아는 풍부한 개념 계층과 링크 구조를 제공하므로, 단어를 ‘개념’으로 매핑하고 개념 간의 의미적 관계를 추출할 수 있다. 논문에서는 먼저 텍스트 전처리 단계에서 명사와 고유명사를 추출하고, 이를 위키피디아 엔티티와 연결한다(엔티티 링크링). 연결된 엔티티는 ‘개념 집합’으로 변환되며, 각 개념은 위키피디아 카테고리, 하위/상위 개념, 그리고 내부 링크를 통해 의미적 확장을 얻는다.

쿼리 학습은 유전 프로그래밍(GP) 기반의 진화적 알고리즘으로 수행된다. 개별 ‘개체’는 논리 연산자(AND, OR, NOT)와 개념 리터럴을 조합한 트리 구조의 쿼리 표현식이다. 초기 개체군은 무작위로 생성되지만, 각 개념 리터럴은 위키피디아에서 추출된 개념 빈도와 TF‑IDF 가중치를 고려해 초기 확률을 부여한다. 적합도 함수는 두 단계로 구성된다. 첫 번째는 전통적인 정밀도·재현율(F‑measure) 기반의 평가이며, 두 번째는 개념 간 의미적 일관성을 측정하는 ‘시멘틱 적합도’이다. 시멘틱 적합도는 질의에 포함된 개념들이 위키피디아 그래프 상에서 얼마나 가까운지(예: 최단 경로 길이, 공동 상위 개념 수)로 계산한다. 이렇게 하면 단순히 키워드 매칭을 넘어 의미적 연관성을 반영한 적합도 평가가 가능해진다.

진화 과정에서는 선택, 교차, 돌연변이 연산이 적용된다. 교차는 두 부모 트리의 서브트리를 교환함으로써 새로운 조합을 만들고, 돌연변이는 기존 리터럴을 다른 개념으로 교체하거나 논리 연산자를 바꾸는 방식으로 수행한다. 특히 돌연변이 단계에서 ‘시맨틱 변이’가 도입되어, 위키피디아 상에서 의미적으로 유사한 개념(예: “미국 대통령” ↔ “조 바이든”)을 자동으로 대체한다. 이는 탐색 공간을 효율적으로 축소하고, 의미적으로 타당한 쿼리를 빠르게 수렴시키는 데 기여한다.

실험은 Reuters-21578 뉴스 코퍼스를 사용했으며, 각 문서는 다중 라벨(주제)로 분류된다. 기존 BM25, Language Model, 그리고 최근의 딥러닝 기반 BERT‑Retriever와 비교했을 때, Wiki‑ES는 평균 정밀도 0.78, 재현율 0.71, MAP 0.73을 기록해 기존 방법들을 크게 앞섰다. 특히 ‘정치·경제’와 같이 개념 간 연관성이 높은 도메인에서 성능 격차가 두드러졌다. 또한, 학습된 쿼리의 가독성을 평가한 결과, 인간 평가자들이 제시된 쿼리를 이해하고 수정하기 쉬웠으며, 이는 실무 적용 가능성을 높인다.

이 논문의 주요 기여는 (1) 위키피디아 기반 개념 추출·연결 파이프라인을 설계해 토큰‑기반 한계를 극복, (2) 시맨틱 적합도를 포함한 다중 목표 적합도 함수를 도입해 진화적 탐색을 의미 중심으로 전환, (3) 실제 대규모 뉴스 데이터에서 개념 기반 쿼리가 기존 시스템 대비 현저한 성능 향상을 보임을 실증한 점이다. 다만, 위키피디아 엔티티 매핑 정확도에 의존하므로 도메인 특화 위키(예: 의료, 법률)와의 연계가 필요하고, GP의 계산 비용이 높은 편이어서 실시간 검색 환경에서는 추가 최적화가 요구된다. 향후 연구에서는 하이브리드 모델(딥러닝 + 진화)과 멀티모달 위키(이미지·동영상) 연계를 통해 더욱 풍부한 시맨틱 검색을 구현할 여지가 있다.