수치 인식과 순서 인지를 위한 혼합 전문가 기반 KG 모델

초록

NumCoKE는 지식 그래프(KG)에서 수치 속성을 효과적으로 활용하도록 설계된 모델이다. Mixture‑of‑Experts 기반의 MoEKA 인코더가 엔터티·관계·수치 속성을 하나의 의미 공간에 정렬하고, 관계별 전문가에게 동적으로 라우팅한다. 또한 Ordinal Knowledge Contrastive Learning(OKCL)으로 순서‑민감한 양성·음성 샘플을 생성해 미세한 수치 차이를 구분한다. 세 개의 공개 KG 벤치마크에서 기존 방법들을 크게 앞서며, 의미 통합과 순서 추론 모두에서 우수함을 입증한다.

상세 분석

NumCoKE는 기존 KG 임베딩이 수치 속성을 충분히 활용하지 못하고, 특히 값이 근접한 경우의 순서 관계를 구분하지 못한다는 두 가지 근본적인 한계를 정확히 짚어낸다. 첫 번째 문제(C1)인 ‘불완전한 의미 통합’에 대해 저자는 Mixture‑of‑Experts Knowledge‑Aware(MoEKA) 인코더를 제안한다. MoEKA는 기본 엔터티 피처(˜e_i)를 K개의 관계‑전문가 네트워크(W_k)로 변환해 다중 관점 임베딩 H̃_e_i_k를 만든 뒤, 관계 r에 조건화된 가중치 F_k를 통해 전문가별 출력을 가중합한다. 여기서 F_k는 Gaussian 노이즈 ψ_k와 관계‑특화 온도 ϵ_r을 포함한 소프트맥스 형태로 정의돼, 관계마다 전문가의 기여도를 동적으로 조절한다. 이러한 구조는 수치 속성이 관계에 따라 다른 의미적 중요성을 가질 때, 해당 속성을 가장 적합한 전문가에게 라우팅함으로써 의미 공간을 일관되게 정렬한다는 장점을 제공한다.

두 번째 문제(C2)인 ‘순서 구별 불가능성’을 해결하기 위해 Ordinal Knowledge Contrastive Learning(OKCL)을 도입한다. 기존 대비 OKCL은 단순 이진 양·음성 샘플링을 넘어, 코사인 유사도를 기반으로 상위 k개의 ‘순서‑근접’ 샘플을 추출한다. 이때 양성 샘플은 긍정적 트리플 E⁺, 음성 샘플은 부정적 트리플 E⁻에서 각각 선택되며, 각각을 α·Top_k(E⁺)+(1‑α)·h와 β·Top_k(E⁻)+(1‑β)·h 형태로 블렌딩해 혼합 임베딩 e_t⁺_mix, e_t⁻_mix을 만든다. α와 β는 균등 분포에서 샘플링되는 가중치로, 원본 임베딩과 가장 유사한 샘플을 적절히 섞어 순서 정보를 보존한다. 이렇게 생성된 삼중항 (anchor, positive, negative)은 d(x_a,x_b) < d(x_a,x_c) 형태의 순서 손실을 최소화하도록 학습된다.

수치 값 임베딩 자체도 세심하게 설계된다. 관측 가능한 스칼라 값은 선형 변환 W_mx와 스칼라 가중치 w_m을 통해 d_att 차원 임베딩 o_mi에 매핑하고, 결측값은 별도의 학습 가능한 결측 임베딩 v_m으로 대체한다. 이는 값의 절대 규모를 유지하면서도 학습 과정에서 결측에 의한 편향을 방지한다.

전체 파이프라인은 (1) MoEKA를 통한 관계‑조건화 엔터티·수치 통합, (2) Knowledge Perceptual Attention을 이용한 속성‑관계 간 교차 주의, (3) OKCL 기반 순서‑민감 대조 학습 순으로 진행된다. 실험에서는 FB15k‑237, YAGO‑3, 그리고 속성 분포가 이산·연속·왜곡된 형태를 모두 포함하는 자체 구축 데이터셋을 사용했으며, Mean Rank, Hits@10, MRR 등 다양한 메트릭에서 기존 KGE+수치 모델(KBLRN, LiteralE, NRN 등)을 크게 앞섰다. 특히 값이 근접한 ‘hard negative’ 상황에서 OKCL이 가져오는 성능 향상이 두드러졌다.

이 논문은 (1) 관계‑전문가 기반의 Mixture‑of‑Experts가 수치 속성의 의미적 가중치를 동적으로 조정할 수 있음을, (2) 순서‑구조를 명시적으로 반영한 대조 학습이 미세한 수치 차이를 구분하는 데 효과적임을 실증적으로 보여준다. 또한, 수치 속성이 풍부한 도메인(예: 제품 추천, 의료 기록, 지리 정보)에서 KG 기반 추론을 확장하는 실용적 토대를 제공한다.