복소 임베딩으로 간단히 풀어내는 링크 예측

본 논문은 지식 그래프(Knowledge Graph)에서 누락된 사실을 예측하는 링크 예측(link prediction) 문제를 다루며, 이를 저차원 임베딩을 이용한 텐서 완성(tensor completion) 문제로 접근한다. 기존 연구들은 실수 벡터와 다양한 비선형 조합 함수를 사용해 관계를 모델링했지만, 반대칭 관계를 정확히 표현하려면 파라미터가 급증하거나 복잡한 구조가 필요했다. 저자들은 이러한 한계를 극복하기 위해 복소수 벡터를 사용한 새로운 임베딩 방식을 제안한다. ### 1. 이론적 배경 복소 벡터 eₛ, eₒ∈ℂᴷ에 대해 Hermitian 내적 ⟨u,v⟩ = \overline{u}ᵀv 를 사용하면, 내적이 비대칭성을 자연스럽게 포함한다. 즉, ⟨eₛ, eₒ⟩와 ⟨eₒ, eₛ⟩가 일반적으로 다르므로, 관계 매트릭스 X가 비대칭일 때도 저차원 표현으로 정확히 근사할 수 있다. 수학적으로는 정상 행렬(normal matrix) X가 X \overline{X}ᵀ = \overline{X}ᵀ X 를 만족하면 유니터리 대각화 X = E W \overline{E}ᵀ 로 표현될 수 있다. 여기서 E는 복소 유니터리 행렬, W는 대각 행렬이다. 실제 점수 행렬은 실수 부분만 사용하므로 X = Re(E W \overline{E}ᵀ) 로 투영한다. 이때 E의 행은 엔티티의 복소 임베딩이 되고, W의 대각 원소는 관계별 가중치가 된다. ### 2. 모델 설계 단일 관계의 경우, 점수는 Xₛₒ = Re(eₛᵀ W \overline{eₒ}) 로 계산된다. 다중 관계를 다루기 위해 각 관계 r에 복소 벡터 wᵣ∈ℂᴷ를 할당하고, 점수 함수는 φ(r,s,o) = Re(⟨wᵣ, eₛ, \overline{eₒ}⟩) = Re(∑ₖ wᵣₖ eₛₖ \overline{eₒₖ}) 로 정의된다. 이를 실수와 허수 부분으로 분해하면 네 개의 삼중 내적 조합으로 표현되며, wᵣ의 실수 성분은 대칭 성분을, 허수 성분은 반대칭 성분을 담당한다. 따라서 하나의 모델 안에서 대칭·반대칭·혼합 관계를 모두 학습할 수 있다. ### 3. 복소 임베딩의 장점 - **표현력**: 복소수와 Hermitian 내적만으로 대칭·반대칭을 모두 표현한다. - **효율성**: 파라미터 수는 O(K|E| + K|R|) 로 기존 실수 기반 모델과 동일하고, 연산 복잡도는 O(K) 로 선형이다. - **학습 가능성**: 저차원 근사에서 K를 충분히 크게 잡으면, 실제 데이터의 sign‑rank(부호 행렬의 최소 차원)보다 약 2배 정도의 차원만으로도 정확한 부호 패턴을 복원할 수 있다. ### 4. 실험 - **데이터셋**: FB15k‑237, WN18RR 등 공개된 대규모 지식 그래프와, 대칭·반대칭 관계만을 포함한 합성 데이터셋을 사용하였다. - **비교 모델**: RESCAL, DistMult, HolE, Neural Tensor Network(NTN) 등 최신 임베딩 모델을 baseline으로 설정하였다. - **평가 지표**: 평균 역순 순위(MRR)와 Hits@10, Hits@3, Hits@1을 사용하였다. - **결과**: ComplEx는 모든 벤치마크에서 기존 모델을 상회하였다. 특히 반대칭 관계가 많은 WN18RR에서는 MRR이 0.44에서 0.48으로 9%p 상승했으며, Hits@10도 55%에서 61%로 개선되었다. 합성 데이터에서는 대칭·반대칭을 정확히 구분해 100% 정확도에 근접했다. ### 5. 구현 팁 및 확장성 복소 수 연산을 지원하지 않는 환경에서는 실수와 허수 부분을 별도의 실수 벡터로 분리해 구현할 수 있다(Equation 11). 이는 기존 딥러닝 프레임워크에서 추가적인 라이브러리 없이도 적용 가능하게 만든다. 또한, 복소 임베딩은 기존의 트리플 손실 함수(예: 마진 기반, 교차 엔트로피)와도 호환된다. ### 6. 결론 및 향후 연구 복소 임베딩을 이용한 “ComplEx” 모델은 대칭·반대칭·혼합 관계를 모두 효율적으로 모델링하면서도 파라미터와 연산 비용을 최소화한다. 실험 결과는 이론적 장점이 실제 대규모 지식 그래프에서도 유효함을 입증한다. 향후 연구에서는 복소 임베딩을 그래프 신경망(GNN)과 결합하거나, 다중 모달(텍스트·이미지) 데이터에 확장하는 방향이 제시된다.