대규모 링크 예측을 위한 변환기 기반 겹침 확률 블록 모델

초록

TGSBM은 겹침 확률 블록 모델(OSBM)의 해석 가능한 잠재 구조와 희소 그래프 변환기의 표현력을 결합한다. 확장자(Expander) 기반 희소 어텐션으로 거의 선형 시간 복잡도를 달성하고, 신경 변분 인코더가 커뮤니티 멤버십과 강도를 추정한다. 디코더는 OSBM 생성 과정을 그대로 사용해 링크를 재구성한다. 실험 결과 HeaRT 프로토콜에서 평균 순위 1.6, 학습 속도 6배 향상을 보이며, 대규모 네트워크에서도 정확도와 해석성을 동시에 제공한다.

상세 분석

TGSBM은 세 가지 핵심 설계 요소를 통해 기존 그래프 신경망과 변환기의 한계를 극복한다. 첫째, ‘expander‑augmented sparse attention’은 기존의 전역 어텐션이 갖는 O(N²) 복잡도를 O((|E|+dN)·H) 수준으로 낮춘다. 여기서 d는 expander 그래프의 차수이며, H는 헤드 수이다. 로컬 엣지와 추가된 expander 연결을 결합함으로써 그래프의 효과적 직경을 크게 줄이고, 전역 정보를 빠르게 전파한다. 둘째, 변분 인코더는 세 개의 전용 헤드를 사용한다. 하나는 stick‑breaking 변수를 통해 커뮤니티 비중 α를 학습하고, 두 번째는 binary‑Concrete 샘플링으로 겹침 이진 멤버십 b_i를 추정한다. 세 번째 헤드는 가우시안 강도 μ_i를 추정해 각 커뮤니티 내 연결 강도를 모델링한다. 이러한 구조는 OSBM의 베이지안 사전과 자연스럽게 맞물려, 확률적 해석 가능성을 유지하면서도 복잡한 그래프 패턴을 포착한다. 셋째, 디코더는 OSBM의 생성식 a_ij = ˜b_iᵀ ˜W ˜b_j 를 그대로 사용한다. 여기서 ˜W는 커뮤니티 간 상호작용 행렬, 송·수신 편향 U, V, 그리고 전역 스파시티 파라미터 W* 로 구성된다. 따라서 예측된 링크 확률은 명시적인 커뮤니티 교차에 기반해 계산되며, “왜 이 링크가 예측되었는가”에 대한 직관적인 설명을 제공한다. 학습 목표는 재구성 로그우도와 KL 발산의 가중합으로, 변분 사후가 OSBM 사전과 일치하도록 정규화한다. 실험에서는 HeaRT 프로토콜(실제 서비스 환경을 모방한 평가)에서 평균 순위 1.6을 기록했으며, 기존 그래프 변환기 대비 최대 6배 빠른 학습 속도를 보였다. 또한, 추정된 멤버십 행렬을 시각화하면 실제 도메인(예: 연구자 협업 네트워크)에서 의미 있는 겹침 커뮤니티가 드러났다. 그러나 K(커뮤니티 수) 선택에 민감하고, expander 그래프 구축 비용이 매우 큰 초대규모(수백만 노드) 환경에서는 추가 최적화가 필요하다는 점이 남는다. 전반적으로 TGSBM은 정확도, 효율성, 해석성이라는 세 축을 균형 있게 만족시키는 새로운 프레임워크로 평가된다.