이질성 텍스트 속성 그래프를 위한 최적수송 기반 그래프 대조 학습

초록

GCL‑OT는 텍스트‑속성 그래프에서 구조와 텍스트 간의 정렬을 최적수송(OT)과 RealSoftMax, 프롬프트 필터링, OT‑기반 부드러운 감독을 결합해 다중 수준 이질성을 완화한다. 부분 이질성에는 핵심 이웃‑단어 상호작용을 강조하고, 완전 이질성에는 잡음 텍스트를 자동으로 배제한다. 또한 잠재적 동질성을 OT 할당으로 탐색해 정밀한 대조 손실을 만든다. 이론적으로 정보량 하한을 강화하고 베이즈 오류를 감소시켰으며, 9개 벤치마크에서 최신 방법들을 앞섰다.

상세 분석

본 논문은 텍스트‑속성 그래프(TAG)에서 흔히 발생하는 ‘다중‑입자 이질성(multi‑granular heterophily)’을 체계적으로 정의하고, 이를 해결하기 위한 새로운 그래프 대조 학습 프레임워크 GCL‑OT를 제안한다. 기존 GCL 방식은 구조와 텍스트 뷰를 1:1 매칭하는 InfoNCE 기반 손실에 의존해, 이질적 이웃이 많거나 텍스트가 무관한 경우 성능이 급격히 저하된다. GCL‑OT는 세 가지 핵심 메커니즘을 통해 이러한 한계를 극복한다.

1. 부분 이질성 대응 – RealSoftMax 기반 유사도 추정

   • 이웃 임베딩과 단어 임베딩 사이의 내적을 RealSoftMax(β‑log‑sum‑exp) 함수에 통과시켜, 평균과 최대 사이의 부드러운 스위치를 제공한다.
   • β 파라미터가 작을수록 최대값에 가까워져 핵심 이웃‑단어 쌍을 강조하고, β가 크면 평균에 가까워져 잡음에 대한 민감도를 낮춘다.
   • 양방향(이웃→단어, 단어→이웃) 평균을 취함으로써 양쪽 시각에서 중요한 상호작용을 동시에 포착한다.

2. 완전 이질성 대응 – 프롬프트 기반 필터링

   • 구조와 텍스트 임베딩의 전역 유사도 행렬 ˆS에 ‘프롬프트 벡터’ z를 추가해 (N+1)×(N+1) 행렬 ¯S를 만든다.
   • 각 행·열의 최대 유사도가 z보다 낮으면 해당 노드는 프롬프트와 매칭되도록 강제해, 의미가 전혀 맞지 않는 노드 쌍을 자동으로 무시한다.
   • 이렇게 필터링된 행렬을 OT 비용으로 사용해, 소프트 매칭을 통해 다중‑N:N 정렬을 가능하게 한다.

3. 잠재 동질성 탐색 – OT‑가이드 부드러운 감독

   • OT 최적화 결과인 할당 행렬 Q를 ‘잠재 양성(positive)’ 관계로 해석하고, I(대각선)와 합쳐 P = I + Q 를 정규화한다.
   • P를 목표 확률분포로 삼아 라벨이 없는 잠재 이웃 간의 유사도를 소프트맥스 형태로 강화하는 L_LHM 손실을 정의한다.
   • 이는 무작위 음성 샘플링이 잠재 동질성을 억제하는 문제를 완화하고, 구조‑텍스트 공간을 보다 연속적으로 연결한다.

이론적 기여는 두 가지 관점에서 제시된다. 첫째, OT‑기반 유사도는 기존 InfoNCE의 MI 하한을 더 높은 값으로 끌어올려, 대조 학습이 추정하는 상호정보량을 강화한다. 둘째, OT 할당을 이용한 부드러운 목표는 베이즈 오류 상한을 낮추어, 최종 노드 분류기의 일반화 능력을 이론적으로 보장한다.

실험에서는 9개의 공개 TAG 데이터셋(동질·이질 혼합, 학술 인용, 전자상거래 등)을 사용해, GCL‑OT가 최신 GCL(PolyGCL, HeterGCL) 및 이질성 전용 모델(LLM4HeG, LEMP4HG)을 모두 앞섰다. 특히 완전 이질성이 강한 데이터셋에서 프롬프트 필터링이 정확도 향상에 크게 기여했으며, 잠재 동질성 탐색은 희소 연결 그래프에서 눈에 띄는 개선을 보였다.

한계와 향후 연구로는 (1) 프롬프트 벡터 z와 β 파라미터의 자동 튜닝 방법, (2) 대규모 그래프에서 Sinkhorn 알고리즘의 메모리·시간 효율성, (3) 멀티모달(이미지·텍스트) 그래프에 대한 확장 가능성을 들 수 있다. 전반적으로 GCL‑OT는 이질성 텍스트‑속성 그래프에서 구조와 의미를 정교히 정렬하는 새로운 패러다임을 제시한다.