가우시안 어텐션 기반 지식베이스 임베딩과 질의응답 모델

이 논문은 신경망 기반 메모리 접근에서 어텐션 메커니즘을 확장하는 새로운 방법으로 ‘가우시안 어텐션 모델’을 제안한다. 기존의 내적 기반 어텐션은 각 메모리 아이템에 대한 점 형태의 스코어링을 제공해, 어텐션이 매우 좁거나 넓게 퍼지는 것을 조절하기 어렵다. 저자들은 다변량 가우시안 확률밀도 함수를 어텐션 스코어링 함수로 사용함으로써, 평균(μ)과 공분산(Σ)이라는 두 파라미터를 통해 어텐션의 중심과 폭을 동시에 제어한다. 이는 “레이저 샤프” 어텐션부터 “넓은” 어텐션까지 연속적인 조절이 가능하게 만든다. 가우시안 어텐션을 지식베이스 임베딩에 적용하기 위해, 각 엔터티를 d 차원 벡터 v_e 로, 각 관계를 평균 변위 δ_r 와 공분산 Σ_r 로 매핑한다. 관계를 적용할 때는 v_s + δ_r 를 새로운 평균으로, Σ_r 을 새로운 공분산으로 하여 대상 엔터티 v_o 에 대한 가우시안 로그 확률을 계산한다. Σ_r 를 대각 행렬로 제한하고, ELU와 작은 상수 ε 로 양의 정의성을 보장함으로써 학습 안정성을 확보한다. 학습 목표는 마진 기반 랭킹 손실이다. 올바른 트리플 (s, r, o)와 부정 트리플 (s, r, t) 사이에 일정 마진 μ 를 두고, 손실을 최소화한다. 정규화 항으로 엔터티와 관계 파라미터의 L2 norm을 포함한다. 또한, 관계의 합성(경로 질의)을 위해 가우시안 합성을 이용한다. 경로상의 여러 관계 r₁,…,r_τ 에 대해 평균은 순차적으로 누적(∑δ_r_t), 공분산은 합산(∑Σ_r_t)된다. 이렇게 하면 경로를 따라 전파되는 불확실성이 정량화되고, 긴 경로에서도 의미 손실 없이 점수를 계산할 수 있다. 질의응답 시스템은 세 단계로 구성된다. 첫째, 질문에 등장하는 엔터티를 오라클(또는 도메인 특화 엔터티 인식기)로 추출한다. 둘째, LSTM 기반 질문 인코더가 각 토큰에 대한 은닉 상태 h_t 를 생성하고, 이를 이용해 각 엔터티 e 에 대한 관계 가중치 α_{r,e} 를 추정한다. 여기서는 두 레이어 퍼셉트론과 ReLU를 사용해 관계별 스코어를 계산하고, softmax 로 토큰별 가중치를 p_{t,e} 를 구해 h_t 를 가중합해 o_e 를 만든다. 셋째, 각 엔터티‑관계 쌍에 대해 가우시안 어텐션을 생성하고, 모든 엔터티에 대해 가우시안 어텐션을 곱해 결합한다. 곱셈은 베이즈 정리의 독립 관측 가정과 동일하게 동작하며, 최종 스코어는 또 다른 가우시안 형태가 된다. 이 과정은 다중 조건(예: “포워드이면서 Borussia Dortmund 소속인 선수”)을 자연스럽게 처리한다. 실험은 FIFA 2014 월드컵 선수 데이터를 사용했다. 데이터는 선수, 팀, 포지션, 국가 등 다양한 엔터티와 관계로 구성되며, 단순 질의, 경로 질의(예: “어떤 팀의 감독이 이 선수를 코치했는가”), 그리고 조건 결합 질의(예: “포워드이면서 2014년 월드컵에 출전한 선수”)를 포함한다. 비교 대상은 기존 TransE와 TransE에 compositional relation 학습을 추가한 모델이다. 결과는 TransGaussian이 전반적으로 높은 정확도를 보였으며, 특히 일대다 관계가 많은 경로 질의에서 12%p 이상의 성능 향상을 기록했다. 또한, 공분산 파라미터를 학습함으로써 관계별 불확실성을 정량화하고, 모델이 불확실한 답변을 회피하거나 다중 정답을 포괄적으로 제시할 수 있음을 확인했다. 본 논문의 주요 기여는 다음과 같다. (1) 어텐션 메커니즘에 가우시안 분포를 도입해 집중도와 불확실성을 동시에 제어, (2) 관계를 평균·공분산으로 확장한 TransGaussian 임베딩 제안, (3) 가우시안 합성을 통한 경로 질의와 조건 결합 질의의 자연스러운 처리, (4) 실제 도메인 데이터에서 기존 방법 대비 실질적 성능 향상 입증. 향후 연구 방향으로는 엔터티 인식 단계와 결합한 엔드‑투‑엔드 학습, 비대칭·비대각 공분산 구조 도입, 그리고 대규모 공개 지식베이스(Freebase, Wikidata)에서의 확장성을 검증하는 것이 제시된다.