깊은 신경망으로 지식 그래프 자동 인코딩

초록

본 논문은 연결된 엔터티와 속성으로 구성된 지식 그래프를 계층적 구조로 변환한 뒤, 딥 빌리프 네트워크(DBN)를 이용해 그래프의 에너지 기반 표현을 학습한다. 네트워크 내부에 계층 구조가 자연스럽게 내재됨을 보이고, 이를 통해 원 데이터가 생성된 평형 분포를 효율적으로 복원한다.

상세 분석

이 연구는 지식 그래프(KG)를 먼저 그래프 이론적 방법으로 트리형 혹은 다중 레벨 계층 구조로 변환한다. 각 레벨은 엔터티 집합과 그들의 관계, 속성값을 행렬 형태로 정규화하여 입력 벡터로 만든다. 변환 과정에서 노드 간의 연결 강도와 속성 유사도를 가중치로 사용해 그래프 라플라시안 행렬을 구축하고, 이를 스펙트럴 클러스터링에 적용해 계층적 군집을 도출한다. 이렇게 얻어진 계층적 표현은 전통적인 임베딩 방식과 달리 구조적 정보를 보존한다는 점이 핵심이다.

다음 단계에서는 딥 빌리프 네트워크(DBN)를 에너지 기반 모델로 채택한다. DBN는 여러 개의 제한 볼츠만 머신(RBM) 층을 순차적으로 쌓아, 각 층이 입력 데이터의 확률 분포를 점진적으로 고차원 잠재 공간으로 매핑한다. 논문은 특히 첫 번째 RBM 층이 그래프의 로컬 구조(인접 노드와 속성)를 캡처하고, 상위 RBM 층이 계층적 군집 간의 전역 관계를 학습한다는 점을 실험적으로 입증한다. 이 과정에서 대조적 발산(Contrastive Divergence) 알고리즘을 이용해 파라미터를 추정하고, Gibbs 샘플링을 통해 평형 상태의 마코프 체인을 근사한다.

핵심 기여는 두 가지이다. 첫째, KG의 계층적 변환이 에너지 기반 신경망과 자연스럽게 결합되어, 네트워크 자체가 그래프의 구조적 제약을 내재화한다는 점이다. 기존의 그래프 신경망(GNN)은 메시지 전달 메커니즘에 의존하지만, 여기서는 에너지 최소화 과정이 구조 보존을 자동으로 수행한다. 둘째, 학습된 DBN을 이용해 원본 KG가 샘플링된 평형 분포를 재생성함으로써, 데이터 복원 및 새로운 엔터티·관계 생성이 가능해진다. 이는 지식 그래프의 확장, 노이즈 제거, 그리고 잠재적 관계 추론에 활용될 수 있다.

실험에서는 공개된 Freebase와 DBpedia 서브셋을 대상으로, 전통적인 임베딩(TransE, DistMult) 및 최신 GNN(GraphSAGE, GAT)과 비교하였다. 평가 지표는 링크 예측 정확도, 엔터티 분류 F1 점수, 그리고 샘플링된 그래프의 구조적 일관성(KL 발산)이다. 결과는 DBN 기반 모델이 특히 고차원 관계와 복합 속성을 가진 엔터티에 대해 우수한 성능을 보이며, 구조적 일관성에서도 기존 방법보다 낮은 KL 발산을 기록했다.

또한 논문은 모델의 해석 가능성을 강조한다. 각 RBM 층의 가중치 행렬을 시각화하면, 특정 속성 그룹이나 관계 유형이 독립적인 뉴런 집합에 매핑되는 것을 확인할 수 있다. 이는 지식 그래프의 의미론적 클러스터링을 신경망 내부에서 자동으로 수행한다는 의미이며, 향후 인간 전문가가 모델을 검증하거나 수정하는 데 유용한 근거를 제공한다.

한계점으로는 대규모 KG에 대한 학습 비용이 아직 높으며, 계층적 변환 단계에서 클러스터링 파라미터 선택이 결과에 민감하게 작용한다는 점을 언급한다. 향후 연구에서는 샘플링 기반의 미니배치 학습과 자동 파라미터 튜닝을 도입해 확장성을 개선하고, 비정형 속성(텍스트, 이미지)과의 멀티모달 통합을 탐색할 계획이다.