베이즈 기반 지속적 지식 그래프 임베딩: BAKE 모델

초록

본 논문은 지속적으로 변화하는 지식 그래프에 대해 베이즈 업데이트 원리를 적용한 CKGE 프레임워크 BAKE를 제안한다. 각 스냅샷의 사후 분포를 다음 스냅샷의 사전으로 사용해 파라미터 불확실성을 정량화하고, 연속 클러스터링 정규화를 통해 임베딩 공간의 의미 일관성을 유지한다. 실험 결과, BAKE는 기존 최첨단 방법들을 대부분 능가한다.

상세 분석

BAKE는 기존 CKGE 연구가 직면한 두 가지 핵심 문제, 즉 파라미터 수준의 재학습에 의한 재앙적 망각(catastrophic forgetting)과 임베딩 공간에서 발생하는 의미적 드리프트(semantic drift)를 베이즈 통계와 클러스터링 기법으로 동시에 해결한다. 먼저, 모든 엔터티와 관계를 평균과 정밀도(precision)로 구성된 다변량 가우시안으로 모델링한다. 정밀도는 각 차원의 확신도를 나타내며, 베이즈 업데이트 과정에서 이전 스냅샷의 사후(μ_{t‑1}, λ_{t‑1})를 새로운 데이터 ΔT_t의 관측값(TransE 기반 최적화 결과)과 결합한다. 가우시안의 공액(conjugate) 특성을 이용해 정밀도는 λ_{t}=λ_{t‑1}+λ_{obs} 형태로 간단히 갱신되고, 평균은 λ_{t}⁻¹(λ_{t‑1}μ_{t‑1}+λ_{obs}μ_{obs}) 로 업데이트된다. 이 과정은 파라미터 불확실성을 자동으로 조절해, 높은 확신을 가진 차원은 크게 변하지 않으면서 새로운 지식은 저확신 차원에 집중적으로 반영된다.

베이즈 업데이트만으로는 임베딩의 구조적 일관성이 보장되지 않는다. 따라서 BAKE는 연속 클러스터링 모듈을 도입한다. 기존 스냅샷에서 형성된 엔터티 클러스터를 유지하면서, 새로운 엔터티와 기존 엔터티의 임베딩을 contrastive 방식으로 끌어당겨 intra‑cluster compactness와 inter‑cluster separability를 동시에 최적화한다. 구체적으로, 클러스터 중심을 동적으로 업데이트하고, 같은 클러스터 내 샘플 간 거리를 최소화하며, 다른 클러스터와의 거리는 마진 γ_c 로 구분한다. 이 정규화 항은 KL‑divergence 기반 베이즈 손실과 가중합되어 전체 목표함수 L_total = L_KGE + α·L_Bayes + β·L_Cluster 로 정의된다.

실험에서는 8개의 CKGE 벤치마크(예: YAGO‑3→YAGO‑4.5, ICEWS, GDELT 등)를 사용해 MRR, Hits@1/3/10을 측정하였다. BAKE는 평균 4.2%~9.7%의 절대 성능 향상을 보였으며, 특히 신규 엔터티가 급증하는 시나리오에서 기존 방법보다 안정적인 지식 보존을 확인했다. Ablation study에서는 베이즈 업데이트만 적용했을 때와 클러스터링만 적용했을 때 각각 성능 저하가 발생함을 보여, 두 모듈이 상호 보완적임을 입증한다. 또한, 파라미터 수는 기존 TransE 기반 모델과 동일하거나 약간 증가했지만, 메모리 사용량은 사후 분포를 저장하는 정도로 제한적이었다.

이러한 설계는 베이즈 원리가 데이터 순서에 무관한 특성을 활용해 지속적 학습의 이론적 보장을 제공하고, 클러스터링 정규화가 의미적 드리프트를 억제함으로써 실제 서비스 환경(소셜 미디어, 뉴스 스트림 등)에서 장기적인 KG 유지보수에 적합한 솔루션을 제시한다. 향후 연구에서는 비가우시안 사후 근사, 관계별 동적 정밀도 조정, 그리고 멀티모달 KG와의 연계가 기대된다.