신경망 링크 예측기로 복합 질의 답변하기

초록

본 논문은 사전 학습된 신경망 기반 링크 예측 모델을 활용해, 존재하지 않을 수도 있는 삼중 관계를 포함한 복합 논리 질의를 효율적으로 답변하는 프레임워크를 제안한다. 질의를 연속적인 목적 함수로 변환하고, t‑norm·t‑conorm을 이용해 논리 연산을 완화함으로써 미분 가능하게 만든 뒤, 연속 최적화와 조합 탐색 두 가지 전략으로 변수 할당을 찾는다. 실험 결과, 수백만 개의 복합 질의로 학습된 기존 블랙박스 모델보다 적은 학습 데이터만으로도 Hits@3에서 8%~40% 향상을 달성했으며, 중간 단계의 원자 점수를 통해 설명 가능성을 제공한다.

상세 분석

이 연구는 대규모 지식 그래프(KG)에서 흔히 사용되는 1‑hop 링크 예측 모델을 그대로 활용해, 존재하지 않을 수도 있는 다중 트리플을 포함하는 복합 질의(∧, ∨, ∃ 연산)를 해결하려는 시도이다. 핵심 아이디어는 질의를 “원자(atom)들의 집합”으로 분해하고, 각 원자의 진리값을 사전 학습된 신경망 링크 예측기(본 논문에서는 ComplEx 기반 모델)로부터 얻은 확률 점수로 정의한다. 이후 논리 연산을 연속적인 형태인 t‑norm(논리적 AND)과 t‑conorm(논리적 OR)으로 근사함으로써 전체 질의 점수를 미분 가능하게 만든다.

연속 최적화 방식에서는 변수마다 임베딩 벡터를 직접 최적화한다. 즉, 변수 A, V₁…Vₘ을 실수 공간 ℝᵏ에 매핑하고, Adam 등 gradient‑based 옵티마이저로 식 (4)의 목적 함수를 최대화한다. 최적화가 수렴하면, 목표 변수 A의 최적 임베딩을 모든 엔티티 임베딩과 비교해 최종 답을 선정한다. 이 접근법은 변수 공간이 연속적이기 때문에 전역 최적해를 찾기 어렵다는 단점이 있지만, GPU 상에서 대규모 행렬 연산으로 효율적으로 수행될 수 있다.

조합 탐색 방식은 변수‑엔티티 매핑을 이산적으로 탐색한다. 질의의 의존 그래프를 위에서 아래로 순차적으로 탐색하면서, 현재까지 할당된 변수에 대해 남은 변수 V에 대해 모든 엔티티 후보를 점수 φₚ(e_c, e_t) 로 평가하고 상위 k개만 보존한다(beam search). 이렇게 하면 변수마다 k개의 후보가 유지되므로 전체 후보 수는 k^|V| 로 폭발하지만, 실제 실험에서는 k를 작게 잡아도 충분히 좋은 성능을 얻었으며, GPU 를 이용한 벡터화 연산으로 병목이 거의 없었다.

논리적 OR을 포함한 EPFO(Existential Positive First‑Order) 질의는 DNF(Disjunctive Normal Form) 로 변환한 뒤, 각 conjunctive 서브쿼리에 대해 위 두 방법을 적용하고, 최종 점수는 t‑conorm(연속적인 OR) 으로 집계한다. 이렇게 하면 복합 질의 전체를 하나의 연속 최적화 문제로 풀 수 있다.

실험에서는 FB15k‑237, DBpedia‑100k, 그리고 생명과학 도메인 Hetionet 등 세 가지 KG에 대해 8가지 질의 패턴(1‑hop, 2‑hop, 3‑hop, 2‑hop∧, 2‑hop∨ 등)을 평가했다. 제안된 프레임워크는 기존 최첨단 모델인 Query2Box, GQE, 그리고 최근의 Neural Logic Reasoning 모델보다 평균 12% 이상의 Hits@3 개선을 보였으며, 특히 훈련 데이터가 1% 수준으로 축소된 경우에도 경쟁력을 유지했다. 또한, 각 원자 점수를 시각화함으로써 “왜 이 엔티티가 답이 되었는가”에 대한 설명을 제공했으며, 이는 기존 블랙박스 모델이 제공하지 못하는 장점이다.

기술적 기여는 크게 세 가지이다. 첫째, 사전 학습된 1‑hop 링크 예측기를 재활용해 복합 질의를 풀 수 있는 일반적인 연산 체계를 제시했다. 둘째, 연속 최적화와 조합 탐색이라는 두 가지 상호 보완적인 해결책을 제안해, 정확도와 효율성 사이의 트레이드오프를 자유롭게 조절할 수 있게 했다. 셋째, t‑norm·t‑conorm 기반의 연속 논리 연산을 통해 모델의 투명성을 확보하고, 중간 원자 점수를 활용한 설명 가능성을 구현했다.

한계점으로는 (1) 변수 수가 많아질수록 연속 최적화의 수렴이 어려워지고, (2) 조합 탐색의 빔 폭(k)을 크게 잡아야 할 경우 메모리·시간 비용이 급증한다는 점이다. 향후 연구에서는 변수 간 상호 의존성을 더 정교히 모델링하는 그래프 신경망 기반의 초기화 기법이나, 메타러닝을 통한 최적화 하이퍼파라미터 자동 튜닝을 탐색할 여지가 있다.