지식 그래프 완성을 위한 임베딩 투영 모델 ProjE

본 논문은 지식 그래프(KG)의 불완전성을 해소하고, 사실 검증을 지원하기 위한 새로운 지식 그래프 완성(KGC) 모델인 ProjE를 제안한다. 기존 KGC 연구는 주로 저차원 임베딩을 이용해 엔터티와 관계를 벡터화하고, 마진 기반 쌍별 손실 함수를 통해 트리플( head, relation, tail )의 존재 여부를 판단해 왔다. TransE, TransH, TransR 등은 이러한 접근법의 대표이며, 이후 Knowledge Vault, HolE, NTN 등은 임베딩 결합 방식을 다양화하거나 다층 신경망을 도입해 성능을 끌어올렸다. 그러나 이러한 모델들은 (1) 파라미터 수가 급증해 대규모 KG에 적용하기 어려움, (2) 다중 관계 경로를 활용하려면 복잡한 전처리와 사전 학습이 필요, (3) 대부분이 쌍별 손실에 의존해 전체 후보 집합을 동시에 최적화하지 못한다는 한계를 갖는다. ProjE는 이러한 문제점을 근본적으로 재설계한다. 먼저, 입력 삼중항 (h, r, ?) 를 “head‑entity와 relation 임베딩을 결합해 목표 벡터를 만든 뒤, 모든 후보 엔터티를 이 목표 벡터에 투영한다”는 아이디어를 도입한다. 결합 연산 ⊕ 은 두 대각선 행렬 D_e, D_r 와 편향 b_c 로 정의되며, 이는 전역적인 가중치와 편향만을 학습함으로써 차원 간 상호작용을 최소화한다. 이렇게 얻은 통합 임베딩은 tanh 비선형성을 거쳐, 후보 엔터티 행렬 W_c (실제로는 기존 엔터티 임베딩 행렬을 공유)와 내적 후 투영 편향 b_p 를 더해 최종 점수 h(e, r) 를 산출한다. 핵심은 손실 함수 설계에 있다. ProjE는 두 가지 변형을 제공한다. (1) ProjE_pointwise는 각 후보에 대해 시그모이드 출력과 이진 라벨을 매칭해 다중 클래스 교차 엔트로피 손실을 최소화한다. 부정 샘플은 전체 엔터티 집합에서 확률적으로 추출해 학습 효율을 높인다. (2) ProjE_listwise는 소프트맥스 활성화를 사용해 전체 후보 집합을 하나의 확률 분포로 정규화하고, 긍정 후보들의 목표 확률을 1/|E⁺| 로 설정한다. 이 방식은 리스트와이즈 학습 원리를 차용해 순위 전체를 동시에 최적화한다는 장점이 있다. 파라미터 분석에서는 ProjE가 기존 모델 대비 현저히 적은 추가 파라미터만을 요구한다는 점을 강조한다. 기본적인 엔터티·관계 임베딩 파라미터 n_e·k, n_r·k 에 더해 5k + 1 개(대각선 가중치·편향·투영 편향)만을 추가한다. 표 1에 제시된 15개 모델과 비교했을 때, ProjE는 11개 모델보다 파라미터가 적으며, 사전 학습이나 경로 추출 같은 전처리 단계가 전혀 필요하지 않은 완전 self‑contained 모델이다. 실험에서는 FB15k, WN18, FB15k‑237 등 널리 사용되는 벤치마크를 이용해 기존 15개 모델과 성능을 비교하였다. 평가 지표는 Mean Rank, Hits@1/3/10, MRR 등을 사용했으며, ProjE_listwise가 대부분의 경우 최고 점수를 기록했다. 특히 파라미터 수 대비 성능 효율성에서 기존 최첨단 모델보다 평균 37 % 높은 정확도를 보였다. 추가로 제안된 사실 검증(fact‑checking) 태스크에서는 문장을 (head, relation, ?) 형태로 변환한 뒤 엔터티 예측을 수행한다. ProjE는 긍정/부정 문장을 구분하는 정확도에서 기존 베이스라인보다 크게 앞섰으며, 이는 모델이 단순히 트리플 존재 여부를 넘어 실제 진위 판단에도 활용될 수 있음을 시사한다. 결론적으로, ProjE는 (1) 후보 투영이라는 직관적이고 효율적인 구조, (2) 리스트와이즈 손실을 통한 전체 순위 최적화, (3) 대각선 가중치와 공유 변수에 기반한 파라미터 절감이라는 세 가지 핵심 혁신을 결합한다. 복잡한 다중 경로 모델이나 사전 학습이 필요한 모델 없이도, 저차원 임베딩만으로도 높은 정확도를 달성함으로써 KGC 분야에서 새로운 설계 패러다임을 제시한다. 향후 연구에서는 멀티‑홉 경로 정보를 투영 단계에 통합하거나, 관계 예측(task)에도 동일한 프레임워크를 확장하는 방안을 탐색할 수 있다.