시맨틱 인식 대조 학습 기반 분리형 어텐션 삼중 분류

초록

SASA는 삼중 분류를 위해 헤드‑관계와 테일을 별도 인코더로 처리하고, 분리형 어텐션으로 상호작용을 강화한다. 또한 로컬·글로벌 계층의 시맨틱‑인식 대조 학습을 보조 목표로 도입해 표현력을 향상시킨다. FB15k‑237와 YAGO3‑10에서 기존 최고 성능 대비 각각 5.9%·3.4% 정확도 상승을 달성하였다.

상세 분석

본 논문은 지식 그래프(KG) 삼중 분류(TC) 문제에 두 가지 핵심 혁신을 제시한다. 첫 번째는 ‘분리형 어텐션(Separated Attention)’ 메커니즘이다. 기존 텍스트 기반 TC 모델은 헤드, 관계, 테일을 하나의 시퀀스로 결합해 단일 어텐션 레이어에 의존한다. 이는 서로 다른 의미 영역 간의 정보 흐름을 억제하고, 토큰‑레벨 교차 어텐션이 잡음에 취약해지는 단점을 가진다. SASA는 트리플을 (h, r)와 t 두 개의 서브시퀀스로 분리하고, 각각 독립적인 BERT(또는 변형 PLM) 인코더에 입력한다. 이후 선형 변환·GELU·LayerNorm을 거쳐 동일 차원으로 투사하고, 테일 임베딩을 Query, (h, r) 임베딩을 Key‑Value 로 하는 Cross‑Attention을 적용한다. 이 설계는 (h, r)와 t 사이의 의미적 연관성을 토큰 수준이 아니라 의미 공간 수준에서 직접 매핑하도록 하여, 잡음 감소와 상호작용 효율을 동시에 달성한다.

두 번째 혁신은 ‘시맨틱‑인식 계층형 대조 학습(Semantic‑aware Hierarchical Contrastive Learning)’이다. 기존 대조 학습은 배치 내 인스턴스 구분에 초점을 맞추어, KG 내 미세 의미 차이를 포착하기 어려웠다. SASA는 로컬 레벨과 글로벌 레벨을 구분한다. 로컬 레벨에서는 테일 임베딩에 Dropout‑augmented 노이즈를 가해 ‘강화된’ 긍정 샘플을 생성하고, (h, r)와 이 강화된 t 사이의 유사성을 최대화한다. 이는 의미적 일관성을 유지하면서 모델이 잡음에 강인하도록 만든다. 글로벌 레벨에서는 대규모 임베딩 모델(BGE)을 이용해 (h, r)와 의미적으로 가장 유사한 하드 네거티브 엔티티들을 추출한다. 그런 다음 (h, r)와 하드 네거티브 간의 거리를 멀리 두는 대조 손실을 적용해, 미묘한 의미 구분 능력을 강화한다.

학습 단계에서는 이 두 대조 손실을 기존의 이진 분류 교차 엔트로피와 가중합하여 공동 최적화한다. 이렇게 하면 모델이 ‘정답/오답’ 판단뿐 아니라, 미세 의미 구조를 내재화하게 된다. 실험 결과는 두 가지 벤치마크(FB15k‑237, YAGO3‑10)에서 정확도 기준으로 각각 +5.9%와 +3.4%의 절대 향상을 보여, 제안된 구조와 대조 학습이 실제 성능 향상에 크게 기여함을 입증한다.

한편, 본 접근법은 두 개의 PLM 인코더와 추가적인 대조 학습 모듈을 도입함으로써 파라미터와 연산량이 증가한다. 저자들은 소형 모델을 목표로 했지만, 대규모 사전학습 모델을 사용하면 더욱 높은 성능을 기대할 수 있다. 또한 하드 네거티브 샘플링에 BGE를 활용하는 부분은 외부 임베딩 모델에 의존하므로, 도메인‑특화 KG에서는 별도 적합이 필요할 수 있다. 향후 연구에서는 어텐션 융합 방식을 더 경량화하거나, 멀티모달(텍스트 + 구조) 정보를 동시에 활용하는 방향이 유망하다.